Mikrokifejezések hibrid szakértői rendszerrel való automatizált detektálása
A mikrokifejezések olyan univerzális arckifejezések, melyek minden embernél ugyanazzal a jelentéssel bírnak. Egy másik jellemző tulajdonságuk, hogy csak néhány pillanatig jelennek meg az arcon. A felismerésükhöz jelenleg szakértői tudásra van szükség, ami gátolja a mikrokifejezések széleskörű alkalmazásának elterjedését, emiatt e feladat automatizálása kívánatos lenne.
Egy ember arckifejezései alapján következtethetünk pillanatnyi érzéseire, illetve értelmezhetjük egy adott esemény által kiváltott reakcióit, mint például reakcióit egy előadásra vagy termékre. Továbbá az arckifejezések egyes jegyeit felhasználhatjuk bizonyos mentális betegségek detektálására.
A tavalyi OTDK dolgozatunkban bemutatott hibrid szakértői rendszerünk képes volt az arcon megjelenő néhány alapvető mikrokifejezés felismerésére. Lényeges jellemzője volt, hogy landmark pontok meghatározását leszámítva szakértői algoritmusokat alkalmazott az egyes jegyek detektálásához, mivel nem állt rendelkezésre annotációval ellátott megfelelő adathalmaz, amely egy tanuló algoritmus bemeneteként szolgálhatott volna. Idén folytattuk a megkezdett munkát, a korábbi arckifejezés-felismerő megoldásainkat továbbfejlesztettük, illetve kiegészítettük ajakprés, bólintás és megvetésdetekcióval.
A szemöldökfelhúzás felismerését pontosítottuk, a megjelenő mikrokifejezések detektálására és időbeli lokalizálására idősorelemző algoritmusokat terveztünk és implementáltunk. A vizsgált személy arcára egy általános modellt illesztve meghatároztuk annak pozícióját és orientációját (a Perspective-n-Point probléma megoldásával). Ennek eredménye alapján detektálja megoldásunk a bólintásokat. Egy további fejlesztés részeként ráncdetektáló eljárást terveztünk és implementáltunk, amelynek segítségével az arcon megjelenő megvetés jeleit érzékeltük. A módszerünket végül kiegészítettük ajakprés-detekcióval is.
E gesztus felismerése az ajak vastagságának becslése és az ajakrés szélességnek meghatározása alapján egy általunk kialakított idősorelemző algoritmussal valósul meg.
Munkánkat valós emberekről készült felvételeken is kiértékeltük. A kiértékeléshez olyan felvételeket kerestünk, ahol spontán, nem megjátszott módon jelennek meg a keresett mikrokifejezések. Ehhez a BAUM-1s adathalmazt használtuk fel, internetes podcastok felvételeivel kiegészítve.
szerzők
-
Bodnár Anna
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc) -
Révy Gábor
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulensek
-
Dr. Hullám Gábor
docens, Méréstechnika és Információs Rendszerek Tanszék -
Hadházi Dániel
tudományos segédmunkatárs, Méréstechnika és Információs Rendszerek Tanszék