3D rekonstrukció és regisztráció Gaussian splatting módszerrel

A gépi látás és számítógépes geometria egy alapvető feladata 3D objektumok vagy színterek rekonstrukciója RGB képek sorozatából. Komoly áttörést hozott a nemrégiben publikált "Gaussian splatting" módszer [1], amely által a NeRF (Neural Radiance Field) módszerekhez hasonló minőségű rekonstrukció érhető el, viszont hatékonyabban és neurális hálók alkalmazása nélkül. A Gaussian splatting a rekonstruálni kívánt színteret implicit neurális mezők helyett explicit módon 3D Gauss-eloszlású színes foltok együtteseként reprezentálja, melyeknek renderelése és optimalizációja is igen nagy hatékonysággal végezhető.

A Gaussian splattinghez hasonló módszerek térben erősen behatárolt színterek rekonstrukciójára hivatottak. Ellenben bizonyos gyakorlati alkalmazások (például autonóm járművek navigációja) szempontjából hasznos volna több (részleges) rekonstrukciót egyesíteni/regisztrálni valamilyen egységes reprezentációba. A közönséges pontfelhők regisztrációjával terjedelmes szakirodalom foglalkozik [2], a Gaussian splatting által előállított reprezentációk regisztrációja viszont számos újszerű problémát vet fel. A dolgozatban megvizsgáljuk az ilyen jellegű adatok lokális és globális regisztrációjának különböző szempontjait és olyan algoritmusokat mutatunk be, melyek figyelembe veszik a reprezentáció sajátosságait. A javasolt módszerek eredményességét és hatékonyságát szimulált autonóm járművek segítségével generált adatokon demonstráljuk.

Hivatkozások:

[1] Kerbl, B., et al. "3D Gaussian splatting for real-time radiance field rendering." ACM Transactions on Graphics (ToG) 42.4 (2023): 1-14.

https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/.

[2] Huang X. et al. "A comprehensive survey on point cloud registration." arXiv:2103.02690.

szerző

• 
  Szász Erik
  Mérnök informatikus szak, alapképzés
  alapképzés (BA/BSc)

konzulens

• 
  Dr. Vaitkus Márton
  Adjunktus, Irányítástechnika és Informatika Tanszék