Mikrokifejezések detektálása hibrid szakértői rendszerrel
A mikrokifejezések olyan arckifejezések, melyek jellemzője, hogy univerzálisak, azaz minden embernél ugyanazt jelentik, másrészt tipikusan csak egy pillanatig jelennek meg. A felismerésükhöz jelenleg szakértői tudásra van szükség. E feladat automatizálása lehetőséget teremtene a mikrokifejezések széleskörű felhasználására.
Az emberek arckifejezéseit megfigyelve meghatározhatjuk a pillanatnyi érzéseiket, a reakciójukat egy őket ért hatásra, mint például egy reklámanyagra, vagy felhasználhatjuk bizonyos mentális betegségek detektálására, például depresszió vagy PTSD esetén.
A mikrokifejezések automatizált detektálásának két fő iránya a gépi tanulás és a szakértői képfeldolgozás alapú megközelítés.
A gépi tanulás során annotált minták segítségével a kialakított modellünk képes megtanulni a minták közös tulajdonságait. Ennek a megközelítésnek nagy előnye, hogy egy robosztus eljárást kapunk. Hátránya, hogy ez a robosztusság addig jellemző, amíg a felismerendő kép ugyanabból a háttéreloszlásból kerül ki, mint a tanítóminták. Ha a modellünket egy új környezetben vagy más célra kell felhasználnunk, a modellt újra kell tanítani feltéve, hogy rendelkezésünkre állnak más tanítóminták. Ezen megközelítésnek további hátrányai, hogy a tanításhoz sok minta kell, valamint a modellünk fekete dobozként működik, megértése és testreszabhatósága erősen korlátozott.
A szakértői rendszer több, gyakran egyedileg kialakított képfeldolgozó algoritmust használ. A megközelítés előnye, hogy kevés minta esetén is használható, valamint a rendszer teljesen átlátható, átalakítható, hiszen ismerjük és akár külön-külön módosíthatjuk is a komponenseit. Hátránya, hogy nagy robosztusság eléréséhez több komponensre van szükség, ami növeli a rendszer komplexitását, valamint a priori tudást is fel kell használni a komponensek építésekor. Az alacsonyabb robosztusság ellenére a rendszer további előnye, hogy testreszabhatósága miatt könnyen átalakítható különböző kontextusokhoz (pl. fényviszonyok, kép felbontása).
Ebben a dolgozatban egy hibrid megoldást mutatunk be, melynek alapját egy gépi tanulás alapú referenciapont-felismerő adja. A referenciapontok segítségével, szakértői képfeldolgozó és egyéb jelfeldolgozó algoritmusokat felhasználva képesek vagyunk különböző jellemzőket meghatározni. Az egyes részfeladatokra a szakirodalomban publikált megközelítések alapján javaslunk megoldásokat. A különböző algoritmusokat valós esetekben - videókon és képeken - alkalmazzuk és kiértékeljük az eredményeket. Továbbá a dolgozatban ismertetjük a gyakorlati alkalmazás során felmerült problémákat és tapasztalatokat is. Célunk, hogy a detektált jellemzők segítségével összetett arckifejezéseket, érzelmeket tudjunk meghatározni.
szerzők
-
Révy Gábor
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc) -
Frey Balázs Konrád
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulensek
-
Dr. Hullám Gábor
docens, Méréstechnika és Információs Rendszerek Tanszék -
Hadházi Dániel
tudományos segédmunkatárs, Méréstechnika és Információs Rendszerek Tanszék