WaterSplatting: Fast Underwater 3D Scene Reconstruction Using Gaussian Splatting

要約

水中 3D シーンの再構築は、海軍ロボットから VR エクスペリエンスに至るまで、さまざまな用途に関わる難しい問題ですが、興味深い問題です。
この問題は、形状と媒体 (水) の両方をモデル化できる完全な体積測定の NeRF ベースの手法によってうまく解決されました。
残念ながら、これらのメソッドはトレーニングに時間がかかり、リアルタイムのレンダリングは提供されません。
最近では、3D ガウス スプラッティング (3DGS) 手法が NeRF に代わる高速な手法を提供しました。
ただし、これはジオメトリのみをレンダリングする明示的な方法であるため、媒体をレンダリングすることができないため、水中復元には適していません。
そこで、ボリュームレンダリングと 3DGS を融合して水中データを効果的に処理する新しいアプローチを提案します。
私たちの方法では、明示的なジオメトリ表現に 3DGS を使用し、散乱媒体を捕捉するために別の体積フィールド (ピクセルごとに 1 回クエリ) を使用します。
この二重表現により、散乱媒体を除去することによってシーンを復元することがさらに可能になります。
私たちの手法は、水中 SeaThru-NeRF データセットのレンダリング品質において、最先端の NeRF ベースの手法を上回っています。
さらに、リアルタイムのレンダリング パフォーマンスを提供しながら、既存の方法の効率限界に対処します。
ウェブ: https://water-splatting.github.io

要約(オリジナル)

The underwater 3D scene reconstruction is a challenging, yet interesting problem with applications ranging from naval robots to VR experiences. The problem was successfully tackled by fully volumetric NeRF-based methods which can model both the geometry and the medium (water). Unfortunately, these methods are slow to train and do not offer real-time rendering. More recently, 3D Gaussian Splatting (3DGS) method offered a fast alternative to NeRFs. However, because it is an explicit method that renders only the geometry, it cannot render the medium and is therefore unsuited for underwater reconstruction. Therefore, we propose a novel approach that fuses volumetric rendering with 3DGS to handle underwater data effectively. Our method employs 3DGS for explicit geometry representation and a separate volumetric field (queried once per pixel) for capturing the scattering medium. This dual representation further allows the restoration of the scenes by removing the scattering medium. Our method outperforms state-of-the-art NeRF-based methods in rendering quality on the underwater SeaThru-NeRF dataset. Furthermore, it does so while offering real-time rendering performance, addressing the efficiency limitations of existing methods. Web: https://water-splatting.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google