Bemenet optimalizáció a neurális generatív modellek belső egységeinek értelmezéséhez
A neurális generatív modellek egyre fontosabb szerepet játszanak nem csak gépi tanulás, de idegtudomány területén is, ahol többek között a látókéreg működésének vizsgálatára, illetve a modellezésére használják őket. Probléma azonban, hogy ezen modellek mélyebb réteginek tanult reprezentációi még mindig rejtélyesek és nehezen vizsgálhatóak. Ezeknek az értelmezhetősége nagy jelentőséggel bír, mivel így átláthatóbb és megbízhatóbb rendszereket tudunk tervezni vagy akár az agyi folyamatok megértését is elősegíthetjük. Egy lehetséges módszer a modelljeink viselkedésének értelmezésére az Activation Maximization (AM), amely olyan bemeneteket generál, amelyek maximalizálják egy adott egység vagy egységcsoport aktivitását. Ezzel feltárhatjuk, hogy milyen tulajdonságokra érzékenyek a modelljeink belső egységei. Az AM módszernek (és általánosságban véve a bemenet optimalizációs algoritmusoknak) azonban vannak korlátai, ugyanis regularizáció nélkül olyan mintákat hozhatnak létre, amelyek nem tartoznak a neurális eszköz által modellezett és tanult háttéreloszlásba, így nem reprezentálják jól a mintákat jellemző és megtanult tulajdonságokat. Ebben a munkában megvizsgáljuk, hogy hogyan lehet a problémát a gyakorlatban kezelni. Megvizsgáljuk a nem adaptív képfeldolgozás gyakran alkalmazott regularizációs technikákáit az AM problémájának kezelésére, valamint olyan új megoldást javaslunk, amely generatív modellek elvein alapul, és amellyel természetes módon kerülhetjük el az eloszláson kívüli minták generálását. Ehhez egy hierarchikus Variational Autoencoder (VAE) modellt használunk, amelyet természetes textúrák rekonstruálására tanítottunk be, és amely alkalmas a korai látókéreg működésének modellezésére. A modellünk belső rétegeinek egységei által tanult reprezentációkat vizsgáljuk a dolgozatban javasolt módszerekkel.
szerző
-
Freund László
Mérnök informatikus szak, alapképzés
alapképzés (BA/BSc)
konzulensek
-
Hadházi Dániel
tudományos segédmunkatárs, Méréstechnika és Információs Rendszerek Tanszék -
Dr. Orbán Gergő
Csoportvezeto , Wigner Fizikai Kutatóközpont (külső)
