GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction

要約

この論文は、3D ガウス スプラッティング (3DGS) に基づく大規模シーン再構成のための新しいフレームワークを提案し、既存の手法が直面するスケーラビリティと精度の課題に対処することを目的としています。
スケーラビリティの問題に取り組むために、大規模なシーンを複数のセルに分割し、可視性ベースのカメラ選択とプログレッシブ点群拡張を通じて、各セルの候補点群とカメラ ビューを関連付けます。
レンダリング品質を強化するために、バニラ 3DGS と比較して 3 つの強調された改善が行われています。それらは、光線とガウスの交差の戦略と、学習効率を高めるための新しいガウス密度制御、不均一な照明条件を解決するための ConvKAN ネットワークに基づく外観デカップリング モジュールです。
大規模なシーンでは、色損失、深度歪み損失、および通常の一貫性損失を含む洗練された最終損失が得られます。
最後に、シームレスなステッチング手順を実行して、個々のガウス放射輝度フィールドをマージし、異なるセル間で新しいビューを合成します。
Mill19、Urban3D、および MatrixCity データセットの評価では、私たちの方法が大規模シーン再構築の最先端の方法よりも一貫してより忠実度の高いレンダリング結果を生成することが示されています。
さらに、商用ドローンで録画した自己収集ビデオ クリップをレンダリングすることで、提案されたアプローチの一般化可能性を検証します。

要約(オリジナル)

This paper proposes a novel framework for large-scale scene reconstruction based on 3D Gaussian splatting (3DGS) and aims to address the scalability and accuracy challenges faced by existing methods. For tackling the scalability issue, we split the large scene into multiple cells, and the candidate point-cloud and camera views of each cell are correlated through a visibility-based camera selection and a progressive point-cloud extension. To reinforce the rendering quality, three highlighted improvements are made in comparison with vanilla 3DGS, which are a strategy of the ray-Gaussian intersection and the novel Gaussians density control for learning efficiency, an appearance decoupling module based on ConvKAN network to solve uneven lighting conditions in large-scale scenes, and a refined final loss with the color loss, the depth distortion loss, and the normal consistency loss. Finally, the seamless stitching procedure is executed to merge the individual Gaussian radiance field for novel view synthesis across different cells. Evaluation of Mill19, Urban3D, and MatrixCity datasets shows that our method consistently generates more high-fidelity rendering results than state-of-the-art methods of large-scale scene reconstruction. We further validate the generalizability of the proposed approach by rendering on self-collected video clips recorded by a commercial drone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google