Self-Evolving Depth-Supervised 3D Gaussian Splatting from Rendered Stereo Pairs

要約

3D ガウス スプラッティング (GS) は、基礎となる 3D シーン ジオメトリを正確に表現するのに非常に苦労し、深度マップをレンダリングするときに不正確さや浮遊アーティファクトが発生します。
この論文では、ガウス プリミティブの最適化プロセス全体にわたる深度事前分布の統合の包括的な分析を行い、この制限に対処し、この目的のための新しい戦略を提示します。
後者は、すぐに利用できるステレオ ネットワークからの深度キューを動的に活用し、トレーニング中に GS モデル自体によってレンダリングされた仮想ステレオ ペアを処理し、シーン表現の一貫した自己改善を達成します。
3 つの人気のあるデータセットに関する実験結果は、これらのモデルの深度精度を評価する最初の手段として画期的なものであり、私たちの発見を検証しています。

要約(オリジナル)

3D Gaussian Splatting (GS) significantly struggles to accurately represent the underlying 3D scene geometry, resulting in inaccuracies and floating artifacts when rendering depth maps. In this paper, we address this limitation, undertaking a comprehensive analysis of the integration of depth priors throughout the optimization process of Gaussian primitives, and present a novel strategy for this purpose. This latter dynamically exploits depth cues from a readily available stereo network, processing virtual stereo pairs rendered by the GS model itself during training and achieving consistent self-improvement of the scene representation. Experimental results on three popular datasets, breaking ground as the first to assess depth accuracy for these models, validate our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google