Multimodális autonóm ágensek alkalmazása járműirányítási feladatokban
A mai napig nagy problémát jelent az autonóm járművek elterjedésében a rendszer környezetérzékelésének és -értelmezésének folyamata, illetve hogy ezt a felhasználók számára nem érthető módon teszi meg. Ez manapság nagy gátat okoz az önvezető autóipar számára, hiszen az emberek nem bíznak meg ezen rendszerek pontosságában, mivel nem ismerik a pontos és érthető működésüket.
Sajnálatos módon nem könnyítik meg a helyzetet a napjainkban a környzetértelmezési feladatokban alkalmazott deep learning hálók sem, amelyek, habár nagy pontossággal, de rendkívül bonyolultan oldják meg az önvezetés feladatát. Erre a problémára jelenthet megoldást a kutatásom célja, amelynek kulcseleme a környzetértelmezésmegvalósítása vizuális nyelvi modellekkel (Visual Language Models – VLM). A VLM-eket nagy siker övezi manapság: ezek a modellekbonyolult képi adatokat is képesek feldolgozni, majd természetes nyelven – mindenki számára érthetően – egy részletes leírást adni róluk. Munkám során olyan megoldást próbálok keresni az felhasználó-önvezetés feszültség oldására, ami jól működő önvezető autók létrehozásában is használható megoldást jelenthet.
A kutatásom során a MiniGPT4 vizuális nyelvi modell alkalmazásával olyan ágenseket fejlesztek, amelyek képesek valós és mesterséges környezetből szintetizált képeket feldolgozni, és ezeken a jármű környezetét emberek számára is érthető módon leírni.
szerző
-
Pünkösti Györk
Mérnök informatikus szak, alapképzés
alapképzés (BA/BSc)
konzulens
-
Dr. Szántó Mátyás
Egyetemi Adjunktus, Irányítástechnika és Informatika Tanszék
