Gráf Neurális Hálózatok használata DAG posterior közelítésre
A mély neurális hálók figyelemre méltó sikereket értek el számos területen, mint például a kép, idősor- vagy természetes nyelvű szövegfeldolgozás. Azonban továbbra is jelentős kihívást jelentenek számukra a kombinatorikus struktúrák, többet között a gráfok, a való világban való elterjedtségük ellenére.
A különböző gráf típusok között az Irányított Aciklikus Gráfok (Directed Acyclic Graph, DAG) különösen érdekesek a gépi tanulással foglalkozó kutatók számára, ugyanis számos probléma során az adatok ebben a formában kerülnek ábrázolásra. Ilyen feladatok lehetnek például a Neurális Architektúra Keresés, Közösségi Hálózatok Profilalkotása vagy Bayes hálók struktúrájának tanulása.
Munkánk ez utóbbi problémával foglalkozik. Célunk egy olyan modell megalkotása volt, amely jól közelíti a Bayes hálók posteriorját és hatékony módon mintavételezhető, így alkalmas generatív célokra.
A Markov Chain Monte Carlo (MCMC) algoritmusok a legelterjedtebb eszközök sokdimenziós, multimodális valószínűségi eloszlások mintavételézésére. Ezek az algoritmusok jellemzően véletlenszerű, lokális frissítéseket használnak annak érdekében, hogy az adott rendszer konfigurációját oly módon változtassák, hogy a generált konfigurációk eloszlása aszimptotikusan közelítse a cél valószínűségi eloszlást. Annak ellenére, hogy az MCMC metódusok képesek egyedi és újszerű DAG-ok generálásra, alacsony sebességük miatt könnyen szűk keresztmetszetté válhatnak.
Munkánk során oly módon próbáltuk megoldani ezt a problémát, hogy a jelenlegi MCMC algoritmust egy state-of-the-art neurális hálózat alapú generatív modellre cseréltük, melyet kifejezetten ehhez a feladathoz igazítottunk.
Megoldásunkban generatív modellként egy Variational Autoencoder-t (VAE) használtunk fel, Gráf Neurális Hálózatokat (GNN) alkalmazva encoder és decoderként.
A generálás mellett számos vizsgálatot végeztünk a látens térben annak simaságára vonatkozóan, valamint az interpolációs és extrapolációs lehetőségeket illetően.
szerző
-
Bánfi Zsombor
Villamosmérnöki szak, alapképzés
alapképzés (BA/BSc)
konzulens
-
Formanek András
doktorandusz, Méréstechnika és Információs Rendszerek Tanszék