SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction

要約

マルチビュー画像から 3D 静的シーンと 4D 動的イベントをデジタル化することは、コンピューター ビジョンとグラフィックスにおける長年の課題でした。
最近、3D ガウス スプラッティング (3DGS) が実用的でスケーラブルな再構成手法として登場し、その優れた再構成品質、リアルタイム レンダリング機能、および広く使用されている視覚化ツールとの互換性により人気が高まっています。
ただし、この方法では高品質のシーン再構成を実現するためにかなりの数の入力ビューが必要となり、実用上重大なボトルネックが発生します。
この課題は、大規模なカメラ アレイの導入に法外なコストがかかる可能性がある、動的なシーンをキャプチャする場合に特に深刻です。
この研究では、スパース再構成設定における 3DGS 技術の次善のパフォーマンスに寄与する要因の 1 つとして、スプラット フィーチャの空間的自己相関の欠如を特定しました。
この問題に対処するために、対応する暗黙的なニューラル フィールドの出力としてスプラット特徴をモデル化することで、スプラット特徴を効果的に正規化する最適化戦略を提案します。
これにより、さまざまなシナリオにわたって再構築の品質が一貫して向上します。
さまざまなセットアップやシーンの複雑さにわたる広範なテストによって実証されているように、私たちのアプローチは静的および動的ケースを効果的に処理します。

要約(オリジナル)

Digitizing 3D static scenes and 4D dynamic events from multi-view images has long been a challenge in computer vision and graphics. Recently, 3D Gaussian Splatting (3DGS) has emerged as a practical and scalable reconstruction method, gaining popularity due to its impressive reconstruction quality, real-time rendering capabilities, and compatibility with widely used visualization tools. However, the method requires a substantial number of input views to achieve high-quality scene reconstruction, introducing a significant practical bottleneck. This challenge is especially severe in capturing dynamic scenes, where deploying an extensive camera array can be prohibitively costly. In this work, we identify the lack of spatial autocorrelation of splat features as one of the factors contributing to the suboptimal performance of the 3DGS technique in sparse reconstruction settings. To address the issue, we propose an optimization strategy that effectively regularizes splat features by modeling them as the outputs of a corresponding implicit neural field. This results in a consistent enhancement of reconstruction quality across various scenarios. Our approach effectively handles static and dynamic cases, as demonstrated by extensive testing across different setups and scene complexities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google