FedLinked: Kliensek közötti reprezentáció regularizáción alapuló félig ellenőrzött federált multitaszk tanulási rendszer
Az elosztott környezetben történő multitaszk tanulás egy meglehetősen fontos probléma a federált tanulás területén belül. Számos gyakorlati alkalmazás során emberi vagy gépi szakértők törekszenek különböző, de nagy mértékben korreláló feladatok (taszkok) megoldására. Ez alapján teljesítményük kollaboráció bevezetésével javítható, figyelembe véve azt, hogy privát adatkészleteiket üzleti és adatvédelmi okokból nem oszthatják meg a többi résztvevővel.
A szakirodalomban már publikált federált multitaszk megoldások az alábbi hiányosságokkal rendelkeznek:
- A multitaszk tanuláshoz szükséges tudás transzfer sok esetben a modell paraméterek vagy gradiensek megosztásával történik, ami nem megvalósítható olyan esetekben, amikor a privacy elvek miatt a használt modell üzleti titoknak minősül.
- Általában a tudás transzfer során nincs figyelembe véve a taszkok közötti korreláció, ezzel hátráltatva a ténylegesen hasonló feladatokat tanuló modellek közötti fokozott, szelektív információ áramlást.
A félig ellenőrzött tanulás manapság is aktívan kutatott terület, melyet legfőképp az ingyen hozzáférhető, nagy mennyiségű, címkézetlen adathalmazok felhasználása motivál (mely felhasználása alkalmas lehet a kliensek kollaborálása céljából is). Az ismert félig ellenőrzött federált tanulási módszerek jelentős része úgynevezett pseudo labeling technikát alkalmaz (melyek minden kliens esetén azonos taszkokat, vagy kliensenként, szeparálva hasznosuló mintákat feltételeznek), ezzel szemben az általunk javasolt megoldással bemutatjuk, hogyan lehet a címkézetlen adatokat a kollaborációban résztvevő kliensek közötti tudás megosztás megvalósítására felhasználni.
Ezen munka eredménye a FedLinked eljárás, mely az előbb említett három tématerület (federált -, multitaszk -, és félig ellenőrzött tanulás) előnyeit kovácsolja össze egy komplex eljárás-blokk formájában, illetve képes az előbbiekben említett feltételeknek, megszorításoknak is eleget tenni. A FedLinked egy adatvédelmet megőrző, kollaboratív tanulási eljárás, működése a résztvevő kliensek kereszthasznosságával súlyozott reprezentáció regularizáción alapszik. Mivel a tanult taszkok klienspáronként nem diszjunktak, továbbá azok hasonlósága is feladatpáronként eltér, ezért a disztilláció előtt reperezentáció átképzést is bevezetünk, ezzel növelve a multitaszk tanulás hatékonyságát.
A FedLinked eljárást kiértékeljük képosztályozási problémákon, továbbá teljesítményét összehasonlítjuk multitaszk környezetben egy FedAvg alapú módszerrel, illetve az egyszerű, nem kollaboratív tanulási eljárással. Emellett a javasolt FedLinked eljárás részletes elemzését is biztosítjuk.
szerző
-
Kádár Attila
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)
konzulens
-
Hadházi Dániel
tudományos segédmunkatárs, Méréstechnika és Információs Rendszerek Tanszék
