NexusGS: Sparse View Synthesis with Epipolar Depth Priors in 3D Gaussian Splatting

要約

ニューラル放射輝度フィールド（NERF）および3Dガウススプラッティング（3DG）は、密集したカメラの視点からの画像を使用して、顕著に高度な写真と現実的な新規ビューの合成を持っています。
ただし、これらの方法は、監督が限られているため、少ないショットシナリオで苦労しています。
この論文では、複雑な手動の正則化に依存せずに深さ情報をポイントクラウドに直接埋め込むことにより、スパースビュー画像からの新しいビュー合成を強化する3DGSベースのアプローチであるNexusgsを紹介します。
3DGSの固有のエピポラージオメトリを活用すると、この方法では、3DGを密なポイントクラウドで初期化する新しいポイントクラウド密度化戦略を導入し、過剰滑らかと過剰摂取を防ぎながら、ポイント配置のランダム性を低下させます。
具体的には、Nexusgsは3つの重要なステップで構成されています。エピポーラの深さの結びつき、流れ抵抗力のある深さブレンド、およびフローフィルタリングされた深さの剪定です。
これらのステップは、光学フローとカメラのポーズを活用して正確な深さマップを計算しながら、光学フローにしばしば関連する不正確さを軽減します。
Eppolar Depth Priorsを組み込むことにより、Nexusgsは信頼性の高い高密度ポイントクラウドカバレッジを保証し、スパースビュー条件下で安定した3DGSトレーニングをサポートします。
実験は、Nexusgが深さの精度と品質を大幅に向上させ、最先端の方法をかなりのマージンで上回ることを示しています。
さらに、競合する方法のパフォーマンスを大幅に向上させることにより、生成されたポイントクラウドの優位性を検証します。
プロジェクトページ：https：//usmizuki.github.io/nexusgs/。

要約(オリジナル)

Neural Radiance Field (NeRF) and 3D Gaussian Splatting (3DGS) have noticeably advanced photo-realistic novel view synthesis using images from densely spaced camera viewpoints. However, these methods struggle in few-shot scenarios due to limited supervision. In this paper, we present NexusGS, a 3DGS-based approach that enhances novel view synthesis from sparse-view images by directly embedding depth information into point clouds, without relying on complex manual regularizations. Exploiting the inherent epipolar geometry of 3DGS, our method introduces a novel point cloud densification strategy that initializes 3DGS with a dense point cloud, reducing randomness in point placement while preventing over-smoothing and overfitting. Specifically, NexusGS comprises three key steps: Epipolar Depth Nexus, Flow-Resilient Depth Blending, and Flow-Filtered Depth Pruning. These steps leverage optical flow and camera poses to compute accurate depth maps, while mitigating the inaccuracies often associated with optical flow. By incorporating epipolar depth priors, NexusGS ensures reliable dense point cloud coverage and supports stable 3DGS training under sparse-view conditions. Experiments demonstrate that NexusGS significantly enhances depth accuracy and rendering quality, surpassing state-of-the-art methods by a considerable margin. Furthermore, we validate the superiority of our generated point clouds by substantially boosting the performance of competing methods. Project page: https://usmizuki.github.io/NexusGS/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google