Szöveges tartalom célzott véleményanalízisének javítása nagy nyelvi modellek finomhangolásával
Dolgozatomban a többcélpontú célzott véleményanalízis témakörben végezett kutatásomat és kísérleti eredményeimet mutatom be. Véleményanalízist széles körben használnak, üzleti és kutatási céllal, természetes nyelvfeldolgozás segítségével. A témában többek között arra keresnek választ, hogy egy adott szöveg hangvétele milyen, vagy a célzott véleményanalízis esetén, a hangvétel egy kiválasztott alany felé milyen jellegű. Különböző kategóriákat lehet megállapítani, például lehet pozitív, negatív, neutrális érzelmeket kifejezni, de összetett érzelmek vizsgálata is lehetséges. Célom az volt, hogy megvizsgáljam, nagy nyelvi modellek segítségével milyen minőségű véleményanalízis végezhető.
Nagy nyelvi modellnek olyan neuronhálót nevezünk, amely komplex architektúrája milliós, billiós nagyságrendű paramétert tartalmaz, ilyen például a ma legtöbbet használt transzformer architektúra. Az előtanításhoz TB nagyságrendű szöveges állomány felhasználása szükséges, és önfelügyelt, vagy félig felügyelt módon végezhető. Az így felépülő modellek különböző sztenderd nyelvi feladatok során minden korábbi módszernél jobb eredményeket érnek el.
Kutatásom során három eltérő megközelítés szerint végeztem többcélpontú célzott véleményanalízist. Az analízist a NewsMTSC adathalmazon, a GPT-3 modellcsalád több változatának felhasználásával végeztem, amelyek hatékony működése érdekében az úgynevezett prompt engineering (“parancs tervezés”) technikát alkalmaztam. Először megvizsgáltam, hogy a zero-shot learning milyen pontosságot ér el a különböző modellekkel, majd a következő lépésben bemenetként példa mondatokat adtam, few-shot learning módszerrel próbálkoztam. Végül a modellcsalád több elemét példa prompt – példa válasz párokból épített tanító halmaz felhasználásával finomhangoltam (fine-tuning).
Az eredmények azt mutatták, hogy megfelelő prompt alkalmazása esetén a Curie modell finomhangolt változata képes a korábbi state-of-the-art többcélpontú célzott véleményanalízis eredményeinek felülmúlására. Ez a NewsMTSC teszt halmazain rendre 86,47% és 87,33% osztályozási pontosságot jelentett, míg a szerzők 2021-ben publikált legjobb mérései 83,8% és 84,6% voltak, amelyeket a RoBERTa-GRU modell használatával sikerült elérniük.
szerző
-
Sáfrán Gergely
Villamosmérnöki szak, mesterképzés
mesterképzés (MA/MSc)
konzulens
-
Dr. Papp Dávid
egyetemi adjunktus, Távközlési és Médiainformatikai Tanszék
