Hierarchikus Temporális Memória optimalizálása hatékony ritka reprezentációval szekvencia tanuláshoz
A Hierarchikus Temporális Memória (HTM) egy speciális neurális hálózat, ami nagyban különbözik a széles körben elterjedt mély neurális hálózatokhoz képest. Idősorok és szekvenciák hatékony tanulására képes, amit a hálózat változó hosszúságú szekvencia memóriával valósít meg. Ez egy rendkívül hatékony módja a szekvenciák modellezésének. A hálózat rétegei között a kapcsolatok ritkák, amik hatékony implementálása körültekintő tervezést és optimalizálást igényel.
A hálózat négy elkülöníthető rétegből áll, mindegyik külön feladattal rendelkezik. Elsőként a kódoló réteg átalakít bármilyen bemenetet ritka bináris vektorokká. A Spatial Pooler normalizálja a kapott bemeneteket, majd a térbeli modellezést végzi el. A Temporális Memória végzi el a szekvencia tanulást a Spatial Poolertől kapott normalizált adatokon. Végül a dekódoló visszaalakítja a Temporális Memória kimenetét a cél értékre, ami a szekvencia következő eleme. Ez a felépítés a hálózat könnyű megértését eredményezi, így annak működése magyarázható.
Eddig kevés kutatás zajlott a témában, a legígéretesebb eredményeket a Numenta produkálta, amit a könyvükben („Biological and Machine Intelligence”) részletesen leírtak. A korábbi kutatásom a Numenta NuPic implementációjára épült. Két megoldást készítettem, ebből ez első az előző TDK dolgozatom témája volt, míg a második még fejlesztés alatt áll. Az első megoldásban a HTM hálózatot megvalósítottam csak mátrix műveleteket használva. Ez bebizonyította, hogy a hálózat párhuzamosítható. Az értékeket később ritka mátrixokra és tenzorokra cseréltem, mivel ezek jobban kell, hogy illeszkedjenek a hálózat struktúrájához. Azonban a jelenlegi megoldás még nem optimális, nem nyújtja a várt teljesítményt.
A kutatásom célja a jelenlegi teljesítmény javítása, optimális ritka implementáció készítése, ami a számítási és memória komplexitást is csökkenti. A hálózatot szintetikus adatokon való túltanítással validálom, majd a szekvenciák hosszát növelni szeretném. Végül valós adatokon is össze szeretném mérni a hálózat teljesítményét az LSTM-mel szemben.
szerző
-
Pilinszki-Nagy Csongor
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulens
-
Dr. Gyires-Tóth Bálint
adjunktus, Távközlési és Médiainformatikai Tanszék
