Tesztgenerálás relációs mély neurális hálókhoz strukturális fedettségi garanciákkal
Mesterséges intelligencia (MI) a mindennapjaink részévé vált. Eleinte olyan alkalmazások részeként szolgált, mint például a felhasználói ajánló rendszerek, ahol megengedett bizonyos fokú pontatlanság. Ám manapság egyre több biztonságkritikus rendszer is tartalmaz MI megoldásokat, mint például az önvezető járművek. Ezen feladatkörök ellátására elengedhetetlen az automatizált relációs érvelés, azaz szigorú logikai szigorú szabályrendszereket (pl. a KRESZ szabályait) követő döntéshozás a dinamikusan változó környezetben. Így MI rendszernek nem csak a bejövő vizuális vagy egyéb megfigyelt adatok és információk feldolgozása jelent kihívást, hanem a logikai szabályok segítségével megfogalmazott biztonsági irányelveknek megfelelő döntéshozás is.
Még a modern gépi tanuló modellek is gyakran alulteljesítenek alapvető logikai következtetést igénylő feladatokon, mint a tulajdonságok azonosítása, a számlálás vagy az összehasonlítás. Mivel ezeknek a modelleknek tanításkor használt konkrét bemenetek túltanulását meglehetősen nehéz elkerülni vagy észrevenni, ezért nincs rá garancia, hogy a modell valóban helyesen általánosít minden olyan szituációra, ami a logikai szabályok szerint előállhat. Ennek egyik oka, hogy nem állnak rendelkezésre olyan kifinomult metrikák, melyek a relációs következtetést végző mély neurális hálók tesztkészleteinek fedettségét vizsgálnák. Másrészt, az összes lehetséges bemenet kimerítő felsorolása rendkívül költséges: egy önvezető jármű esetén például több milliárd levezetett teszt-kilométerre lenne szükség a rendszer megbízhatóságának megfelelő ellenőrzésére.
Munkámban a gráffeldolgozó-rendszerek tesztelésénél alkalmazott metrikák kiértékelését javasolom a tesztelt MI bemenetei közti strukturális hasonlóságok és különbségek meghatározására. Ezáltal leírhatók a relációs érvelés általánosíthatóságát vizsgáló és ellenőrző tesztesetek releváns jellemzői.
Ebben a dolgozatban egy kétszintű, gráf absztrakciókon alapuló kvalitatív absztrakciós technikát vezetek be az MI tesztkörnyezetek releváns jellemzőinek a megkülönböztetésére.
Az érvelés az absztrakt viszonyok felett egy gráf következtető rendszerrel, míg az absztrakt viszonyoknak megfelelő konkrét értékek felett egy numerikus következtető rendszerrel végzem. Ehhez egy olyan mérési architektúrát dolgoztam ki, mely a Facebook által a relációs gépi látás megoldások ellenőrzésére fejlesztett CLEVR keretrendszert bővíti ki. A mérési architektúra segítségével (1) ellenőrizhető a tanító- és teszthalmaz strukturális lefedettsége, (2) elemezhető az MI modell jóslatainak robusztussága, valamint (3) számszerűsíthető az MI rendszerek viszonyok feletti érvelési képessége.
A munkám strukturális teszt lefedettség biztosítása segítségével lépéseket tehetünk a rendszer szintű megbízhatóság biztosítása felé, illetve fényt deríthetünk a vizsgált MI rendszerek relációs következtetési képességeinek korlátaira. Ezen túl, a módszer a továbbiakban irányelveket szolgáltathat tanító és teszt adathalmazok összeállítása során a strukturális lefedettség eléréséhez.
