Antropometriai jellemzők becslése járáshang alapján
Az utóbbi években a gépi tanulás rohamos fejlődésével új dimenziók nyíltak meg a járáshang alapú személyazonosítás és jellemzők kinyerése terén. Bár több kutatás foglalkozott már a hangalapú személyazonosítással [1,2], az antropometriai jellemzők becslésére még nincs példa.
Ezen dolgozat célja a járáshangból kinyerhető három antropometriai jellemző, a testmagasság, testtömeg, és életkor becslése. Ehhez a mérési adatok nyers formában rendelkezésre álltak, a dolgozat során a felvételek megfelelő előfeldolgozása után konvolúciós neurális hálót (CNN) alkalmazva végeztem becsléseket a hangfelvételen szereplő személyek jellemzőire.
A dolgozat során először azon korábbi tudományos publikációkban megjelent eredményeket foglalom össze, amelyek jelentős elméleti és gyakorlati hátteret biztosítanak a járáshang alapú személyfelismerés és jellemző kinyerés témakörében. Az irodalomkutatás után kifejtésre kerül a rendelkezésre álló hangfelvételek előfeldolgozási eljárása, amely során a felvételek feldarabolásra kerülnek egyetlen lépést tartalmazó szegmentumokra. A szegmentumok Mel-spektogram (a hang vizuális reprezentációja) formájában kerülnek átalakításra, hogy alkalmasak legyenek a konvolúciós neurális hálózat bemeneteként való alkalmazásra. A jellemzők becslése egy InceptionV3 architektúra alapú hálózattal történt.
A létrehozott modell mindhárom antropometriai jellemzőt megbízhatóan meg tudja becsülni, a becsült és valódi értékek közötti átlagos abszolút eltérés mindhárom esetben kevesebb mint egy. A modell finomításával és egy felhasználóbarát kezelőfelület létrehozásával létrehozható akár egy valós időben működő járáshang elemző szoftver.
Irodalom:
1. Yingxue Wang, Yanan Chen, Md Zakirul Alam Bhuiyan, Yu Han, Shenghui Zhao, and Jianxin Li. Gait-based human identification using acoustic sensor and deep neural network. Future Generation Computer Systems, 86:1228–1237, 2018
2. Bodhibrata Mukhopadhyay, Sahil Anchal, and Subrat Kar. Person identification using seismic signals generated from footfalls. 09 2018.
szerző
-
Németh Áron Imre
Mechatronikai mérnöki alapszak (BSc)
alapképzés (BA/BSc)
