Hierarchikus Temporális Memória optimalizálása szekvencia tanuláshoz
A Hierarchikus Temporális Memória (HTM) egy olyan gépi tanulási módszer, amely az agykéreg működésének újszerű elméletét használja fel. Ez az elmélet többek között új megközelítést ad arra, hogy mit jelent az intelligencia és hogyan működik az emberi agy ezen része. Az elmélet szerint a agykéreg egy olyan homogén rendszer, amely különböző absztrakciós rétegek hierarchiájába rendeződik, melyek ugyanazt az időalapú minta-tanulást végzik. Ennek a hierarchiának csak egy részét kell megfejteni ahhoz, hogy megértsék és lemásolják az emberi szintű általános intelligenciát. A HTM egy új neurális hálózatnak tekinthető; alkalmas idősorokból való tanulásra anélkül, hogy a hálózat bementéhez biztosítani kellene az összes korábbi bemenetet.
Habár a téma még nem hozott olyan látványos eredményeket, mint a mély neurális hálózatoknál, egy rendkívül erős gépi tanulási módszernek bizonyulhat. A legígéretesebb eredmények a Numenta csoport publikációiból és könyvéből származtak; a Biological and Machine Intelligence, amelyben beszámolnak kutatási eredményeikről és egy lehetséges megvalósítást is nyújtanak. Ez a NuPIC nevű program Python-ban, amely bemutatja az ilyen típusú hálózatok tanulási képességeit. Ennek az elméletnek azonban jelenleg nincs publikált optimalizált megoldása.
A HTM hálózatot ritka mátrix reprezentációt igényel, vagyis annak elemeinek csak egy kis hányada nem nulla értékű. Ez a fajta ritka mátrix szükségessé teszi az új típusú ritka mátrix operátorokat, amelyek nincsenek megfelelően implementálva az elterjedtebb gépi tanuló keretrendszerekben. Továbbá a jelenlegi megvalósítás nem alkalmaz nagymértékben párhuzamos hardvert, mint a grafikus processzorok (GPU), amelyek jelentős módon hozzájárultak a gépi és mély tanulás által elért eredményekhez.
Jelen munkámban ezekre a problémákra szeretnék megoldást nyújtani, implementálni egy optimalizált alap HTM hálózatot, a GPU-kon végrehajtott ritka mátrix műveletek használatával, és összehasonlítani őket a szekvenciális tanulással a jelenlegi LSTM-ek (Long Short-Term Memory) és / vagy CNN-k (Convolutional Neural Network) segítségével. A HTM hálózatok belső mechanizmusának vizsgálata és a teljesítményének kiértékelése szintén része a munkámnak.
szerző
-
Pilinszki-Nagy Csongor
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulens
-
Dr. Gyires-Tóth Bálint
adjunktus, Távközlési és Médiainformatikai Tanszék
