Címke-konzisztens sim-to-real képtranszformáció neurális hálózattal
Újabban nagy érdeklődés övezi az önvezető járműveket; az ipar szereplői is egyre több hangsúlyt fektetnek az ezzel kapcsolatos kutatásra és fejlesztésre. Az autonóm ágensek jellemzően mély neurális hálózatok, amelyek tanításához nagy mennyiségű felcímkézett adatra van szükség, ezek előállítása pedig komoly erőforrásokat igényel. Léteznek azonban szoftveres szimulátorok, amelyekben közvetlenül rendelkezésre állnak a tanító adatok, továbbá alkalmazásukkal ritkán előforduló vagy kockázatos szituációkra is felkészíthetjük az algoritmusainkat.
Komoly kérdést vet fel azonban, hogy a szimulátorban jól teljesítő ágens a való életben is tud-e működni. A jelenlegi state-of-the-art megoldások sajnos erre nem képesek, melnyek oka, hogy a szimulátor által generált adatok nem elég valószerűek. Képek esetében ez azt jelenti, hogy rendkívül primitív és túlzottan homogén textúrákkal rendelkezik a szimulátor, így nem képes a valóság ábrázolására. Megoldást egy olyan képtranszformáció jelentene, amely a képen található objektumokat helyben hagyja, csak azok textúráit alakítja realisztikusabbá.
Habár erre az ún. domain transfer problémára számos megoldás született az elmúlt időben, ezek valamennyire megváltoztatják a kép szemantikus tartalmát is a textúra mellett, továbbá jobbára két valódi domain között működnek eredményesen. Ebben a dolgozatban újszerű megoldást adunk a problémára a saját Label-Consistent Swapping Autoencoder névre hallgató architektúránkkal, amely a Swapping Autoencoder továbbfejlesztett változata. Két új hibafüggvényt mutatunk be, amelyek arra hivatottak, hogy kikényszerítsék a szemantikus egyezést a bemenet és a kimenet között. Megmutatjuk, hogy ezek alkalmazásával a képtranszformáció még pontosabbá tehető.
State-of-the-art módszereket használva vetettük össze megoldásunkat korábbiakkal, valamint a céldomainen előre tanított szegmentáló hálózatot is igénybe vettünk a szemantikus egyezés vizsgálatához. Azt találtuk, hogy a kiegészített architektúra jobban megőrizte az objektumok térbeli helyzetét a textúracsere folyamán, így elmondhatjuk, hogy az újításaink beváltották a hozzájuk fűzött reményeinket.
szerző
-
Skribanek Solt
Villamosmérnöki szak, mesterképzés
mesterképzés (MA/MSc)
konzulensek
-
Dr. Szemenyei Márton
Adjunktus, Irányítástechnika és Informatika Tanszék -
Moni Róbert
PhD student, Távközlési és Médiainformatikai Tanszék
