Anomália detektálás logfájlokban gépi tanulással
Anomália detektálás logfájlokban gépi tanulással
Az adatok világában élünk. Sok adat keletkezik környezetünkben szenzorokból, közösségi médiából és számos egyéb forrásból. A komplex informatikai rendszerek kivétel nélkül rendelkeznek logfájlokkal, amelyek segítségével pontosabb képet kapunk a rendszerek működéséről, állapotáról és helyzetéről. Ezek az adatok számtalan információt hordoznak melyek nagy értéket képviselhetnek az operátorok számára. Előfordulnak olyan esetek, amikor anomáliákat fedezünk a logadatokban. Anomáliáról akkor beszélünk, ha eddig ismeretlen összetételű vagy sorrendű logsor érkezik. A logsorok egy nagyon fontos tulajdonsága, hogy rendszerint ismétlődő mintázattal rendelkeznek és megoldásomban ezt fogom felhasználni.
A feladatom az anomáliák észlelésével, hogy jelentsük a szokatlan logsor-szekvenciákat. Mivel a rendszerek folyamatosan logol-nak, így hatalmas adathalmaz keletkezik, ami nagyon megnehezíti a manuális feldolgozást, ezért ennek automatizálása elengedhetetlen.
Manapság előszeretettel használnak gépi tanulást problémák automatizált megoldására, ezért a megoldásomban is ezt fogom használni. Ez a módszer egyrészt lehetőséget biztosít az anomáliák detektálására, másrészt egy tanuló folyamatot is, amely képes folyamatosan fejlődni és egyre pontosabb eredményeket prezentálni.
Ezek alapján a TDK dolgozatomban arra vállalkozok, hogy kétfajta megoldást mutassak be az említett problémára:
Az első megoldásom a DeepLog alapú algoritmusból indul ki. Ez egy nagy irodalommal rendelkező és sokak által referenciaként kezelt algoritmus, amely függetlenül a számos gyengeségétől, hatékonynak bizonyult. Ennek az algoritmusnak az implementálására vállalkozom.
A második megközelítés egy új, KNN (K-Nearest Neighbors) alapú eljárás, amely csoportokba rendezhető logfájlok esetén képes anomáliák azonosítására. Ennek az eljárásnak lényegesen szűkebb az irodalma, alig publikáltak róla, különösen a csoportokba rendezhető logfájlok esetén. A KNN alapú megközelítések egyik kulcseleme a megfelelő távolságmetrika megtalálása. A logsor-szekvenciák közötti távolság meghatározására többfajta lehetőséget megvizsgálok, amelyek teljesítményét hasonlítom össze egymással és a mélytanulás alapú megoldással.
szerző
-
Charaf Kamel
Mérnök informatikus szak, alapképzés
alapképzés (BA/BSc)
konzulens
-
Dr. Horváth Gábor
egyetemi tanár, Hálózati Rendszerek és Szolgáltatások Tanszék