Pontos Függvényközelítés Neurális Hálózatokkal

A neurális hálózatok sokoldalú eszközökké váltak a függvények közelítésére. A hasznos alkalmazások egyre bővülő területei a biológia, a fizika, a mérnöki és a pénzügyi tudományok. A kutatásokat jelenleg a struktúra közelítési képességeivel kapcsolatos, folyamatosan bővülő szakirodalom motiválja. Ezek az elméleti eredmények azt mutatják be, hogy a neurális hálózatok képesek megtanulni a függvények széles körének tetszőlegesen jó közelítését. Ebben a tanulmányban két olyan modern módszert vizsgálok, amelyek a neurális hálózatokat függvények közelítésére használják fel: a fizikával informált neurális hálózatokat (PINN) és az inverz függvényapproximációt.

Az első részben olyan módszert mutatok be, amelyet részben invertálható függvények közelítésére lehet alkalmazni. Ezt a részt a pénzügyi modellek kalibrálása motiválta, ahol az a feladat, hogy olyan modellparamétereket találjuk, amelyek reprodukálják a volatilitási felületet. Egy kétlépéses tanítási módszert javaslok, amelyet az autoencoder architektúra ihletett. A bemutatott algoritmus célja, hogy megoldást adjon egy olyan domén automatikus felfedezésére, ahol egy részleges inverz közelíthető. Mindez lehetővé teszi a nehezen reprezentálható vagy időigényes inverz függvények kiszámítását. Bemutatom, hogy a sztochasztikus pénzügyi modellek kalibrálási ideje jelentősen felgyorsul, miközben a pontosság csak kis mértékben csökken.

A második részben bemutatom a fizikával informált neurális hálózatok tanításával kapcsolatos munkámat. A PINN-ek a neurális hálózatok egy olyan osztálya, ahol a tanítási eljárásra egy puha megkötést teszünk. Ebben az esetben ez a megkötés egy parciális differenciálegyenlet, amelynek teljesítésére betanítjuk a hálózatot. Áttekintem a terület legújabb eredményeit, és megmutatom, hogyan alkalmazhatóak ezek az elméleti eredmények egy hálózat tanítására, amely közelíti a híres Black-Scholes differenciálegyenletet. Bemutatom, hogy a PINN keretrendszer sikeresen alkalmazható nem differenciálható peremfeltételű differenciálegyenletekre. Kísérletezem olyan algoritmusokkal, amelyeknek célja a tanítási folyamat stabilizálása és felgyorsítása. A hatékonyság bemutatása mellett megvizsgálom a gradiens patológiákat, hiperparaméter keresést végzek és tesztelek különböző optimalizálási módszereket. A hálózatok optimalizálásának további segítésére egy fejlett eljárást is adok.

Ebben a tanulmányban a pénzügyi területen való alkalmazhatóságra fogok összpontosítani, azonban a bemutatott megoldások további problémák széles körére is alkalmazhatóak. Emellett átfogó, lépésről lépésre haladó magyarázatokat adok, kísérő Jupyter notebookokon keresztül, megkönnyítve a gyors megértést és kísérletezést.

szerző

Takáts Bálint
Mérnök informatikus szak, mesterképzés
mesterképzés (MA/MSc)

konzulens

Dr. Renczes Balázs
Egyetemi docens, Méréstechnika és Információs Rendszerek Tanszék

helyezés

II. helyezett

letöltés
1 360 kB