Regisztráció és bejelentkezés

Automatikus szereplőszétválasztás filmeken detektált arcok felhasználásával

Internetes világunkban a multimédiás tartalmak száma rohamosan növekszik, 2017-re a teljes internetes forgalom 80-90%-át is videó tartalmak tehetik ki. De videók nem csak online, hanem a felhasználó készülékein is igen nagy számban vannak jelen. Ezek rendszerezése és a videókban való keresés nagy kihívást jelent. Erre megoldást adhat a videók annotálása, különösen annak automatizálása. Ennek egy lehetséges formája az embereket is tartalmazó videók esetében, ha kigyűjtjük, hogy a videón szereplő személyek mettől meddig láthatóak. Ezt az annotációt elvégezhetjük egy arcazonosító alkalmazás implementálásával.

Dolgozatomban az OpenCV könyvtárban implementált arcdetektáló és arcazonosító algoritmusok használatával készítettem el egy videó annotáló rendszert. A megoldást két oldalról közelítettem meg: ha van információnk a szereplőkről, illetve ha nincs. Előbbi esetére Fisherfaces arcfelismerő algoritmust használtam, utóbbira pedig egy klaszterező alkalmazást készítettem, amely Local Binary Pattern hisztogramokat állít elő, és ezeket hierarchikus k-közép módszerrel klaszterezi. A szereplők megtalálására Viola-Jones arcdetektort használtam. A rendszer pontosságának javítása érdekében egy olyan modult valósítottam meg, amely képes a videón megjelenő arcok követésére.

szerző

  • Marosvári Borbála
    mérnökinformatikus
    nappali

konzulens

  • Dr. Szűcs Gábor
    egyetemi docens, Távközlési és Médiainformatikai Tanszék