Mosolydetekció videófelvétel alapján mély neurális hálózat alapú módszerekkel
A mosolygás egy olyan arckifejezés, amit a száj két oldalán található izmok befeszítése vált ki. A legkorábbi ismert, mosolyra emlékeztető arckifejezés 30 millió évvel ezelőttre vezethető vissza. Ilyen sok idő alatt az emberi lét szerves része lett ez az arckifejezés. Kutatások kimutatták, hogy a mosoly lényeges jelzője az érzelmi állapotnak, megelégedettségnek és segít csökkenteni a stresszt. Modern gépi tanuló módszerek segítségével több ilyesfajta kapcsolat feltárása is megoldható lenne. Ehhez az első lépés a mosoly felismerése.
A munkám célja egy mosolydetekciós eljárás megalkotása, neurális hálózatok segítségével. Dolgozatomban megvizsgálok több, eltérő komplexitású módszert. Elsőként egy teljesen összekötött neurális hálózatot, majd több konvolúciós neurális hálózat alapú megoldást tekintek át. Ezek során elemzem a különböző adataugmentációs technikák hatásait, továbbá megvizsgálom, hogy a transzfer learning metodológiáját felhasználva javítható-e az eljárás teljesítménye.
Újdonságértékkel bír, hogy kihasználva az adathalmaz videó voltát, visszacsatolt neurális hálózatok segítségével végzek mosolydetekciót. A szakirodalomban fellelhető algoritmusok jellemzően képek alapján működnek, és nem veszik figyelembe a megelőző képkockák nyújtotta információt.
Az implementált módszerek teljesítményének vizsgálatára a kutatási célra elérhető GENKI-4K és AM-FED+ adathalmazokon végzek összehasonlító elemzést.
szerző
-
Pólya Mátyás
Mérnök informatikus szak, alapképzés
alapképzés (BA/BSc)
konzulensek
-
Dr. Hullám Gábor
docens, Méréstechnika és Információs Rendszerek Tanszék -
Révy Gábor
doktorandusz, Méréstechnika és Információs Rendszerek Tanszék
