Bizonytalanság kvantifikálása bayesi neurális háló alapú módszerekkel
A neurális hálózatok gyakorlati alkalmazása terén gyakran felmerül a kérdés, hogy mekkora mértékben bízhatunk meg a modell predikcióiban, illetve pontosabban, hogy mekkora a modell megbízhatósága a bemeneti tér egyes részeiben, amelyből a jövőben bemenő adatokat kaphat a prediktor. A neurális hálók bizonytalanságának ilyen szempontból történő kvantifikálásához tartozó legelterjedtebb megközelítés a modell bayesi neurális hálóvá történő általánosítása, tehát a modell változóinak adott eloszlású valószínűségi változóvá történő kiterjesztése. Megvalósítás szempontjából a bayesi neurális hálóknak több különböző megközelítése is létezik: (1) egyes módszerek valamilyen ismeretlen eloszlást feltételeznek, amelyből mintavételezve próbálnak következtetni a kimenet eloszlására, (2) mások pedig direkt módon, előre meghatározott a priori (és vele megegyező formátumú a posteriori) eloszlásokkal reprezentálják a modell változóit (súlyait). Habár mindkét főbb kategóriába tartozó megközelítéseknek megvannak a maguk előnyei és hátrányai, az szinte mindegyikről elmondható, hogy egy egyszerű neurális hálóhoz képest kevésbé skálázhatóak, és általánosan nagyobb erőforrásigénnyel rendelkeznek. Dolgozatomban az első kategóriából a bayesi "ensemble" (modell együttes) alapú módszereket (pl. Langevin Monte-Carlo), a másodikból pedig a Bayes-by-Backprop (BBB) nevű módszert vizsgálom meg. Ezekhez kapcsolódva bevezetek egy új, a paramétertérben lévő modellek közötti távolság maximalizálásán alapuló módszert, amely bizonyos szempontból jobb eredményt ad, és jobban skálázható, mint más ismert közelítő módszerek. Végül pedig az egyes megközelítések teljesítményét és skálázhatóságát először egy mesterséges, majd egy valós alkalmazásból származó adathalmazon fogom vizsgálni, amelyek közül a valós adathalmaz közvetlenül egy biztonságkritikus szakmai területhez kapcsolódik, így tehát releváns a kimenet megbízhatóságának becslése szempontjából.
szerző
-
Vetró Mihály
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulens
-
Dr. Hullám Gábor
docens, Méréstechnika és Információs Rendszerek Tanszék
