Valósidejű bólintásdetekció gépi tanulási módszerekkel

Valósidejű bólintásdetekció gépi tanulási módszerekkel

Az emberi viselkedésanalízis egyik fontos eleme a nonverbális gesztusok felismerése. A nonverbális kommunikáció fontos elemei a kéz, a kar vagy a felsőtest is, azonban a gesztusok jelentős része az arcról és a fej mozgásából olvasható le. Ilyen többek között a bólintás, melynek detekciója több szempontból is kihívást jelent. Egyfelől különböző kulturális háttérrel bíró emberek eltérő mértékű és gyakoriságú fejmozgást alkalmaznak kommunikációjuk során, másfelől az egyes egyének szintjén is jelentős eltérések lehetnek a bólintás során realizálódó fejdőlésszög mértékében, valamint az egyéb irányú járulékos fejmozgásokban. Mindezek miatt általánosan alkalmazható bólintásdetekciót megvalósítani szakértői módszerekkel nehéz, jellemzően valamilyen korlátozások mellett lehetséges. Emiatt inkább gépi tanulás alapú módszerekre kell hagyatkoznunk, melyekhez azonban megfelelően annotált tanító adathalmaz szükséges. A bólintás kép alapján történő felismeréséhez elérhető több adathalmaz, azonban ezek felhasználása valósidejű detekcióhoz mérsékelt pontossághoz vezet, mivel az apró bólintások azonosítása így nem lesz lehetséges. A videó alapján történő felismerés nagyobb pontossághoz vezethet, ilyen adathalmaz azonban, amely a bólintás szempontjából kellő részletességgel annotált, korlátozott számban elérhető.

Dolgozatomban a bólintás valósidejű detekciójára két különböző módszert vizsgálok meg. Az első módszer egy rejtett Markov-modell alapú klasszikus gépi tanuló megoldás, amely a fej pozíciója alapján következtet a bólintásra. Ezután egy visszacsatolt konvolúciós neurális hálózat alapú módszert mutatok be. Az implementált eljárások teljesítményét a kutatási célokra elérhető, videókat tartalmazó SEWA adathalmazon értékelem ki, majd hasonlítom össze.

szerző

• 
  Tass Mihály
  Mérnök informatikus szak, alapképzés
  alapképzés (BA/BSc)

konzulensek

• 
  Dr. Hullám Gábor
  docens, Méréstechnika és Információs Rendszerek Tanszék
• 
  Révy Gábor
  doktorandusz, Méréstechnika és Információs Rendszerek Tanszék

helyezés