Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis

要約

まばらな入力からの新しいビューの合成は、3D コンピュータ ビジョンにおいて重要ですが、困難なタスクです。
以前の方法では、追加の監視としてニューラル事前分布（深度事前分布など）を使用して 3D ガウス スプラッティングを検討し、NeRF ベースの方法と比較して有望な品質と効率を実証しました。
ただし、2D 事前トレーニング済みモデルからのニューラル事前分布はノイズが多くぼやけていることが多く、輝度フィールドの学習を正確にガイドするのが困難です。
この論文では、ガウス スプラッティングを使用して疎なビューから新しいビューを合成するための新しい方法を提案します。これは、監視として外部の事前分布を必要としません。
私たちの重要なアイデアは、視差誘導画像ワーピングで構築された両眼画像の各ペア間の両眼ステレオの一貫性に固有の自己監視を探ることにあります。
この目的を達成するために、ガウスの位置を正規化し、ガウスの冗長性を回避するガウス不透明度制約を追加して導入し、まばらなビューから 3D ガウスを推論する堅牢性と効率を向上させます。
LLFF、DTU、および Blender データセットに関する広範な実験により、私たちの手法が最先端の手法を大幅に上回ることが実証されました。

要約(オリジナル)

Novel view synthesis from sparse inputs is a vital yet challenging task in 3D computer vision. Previous methods explore 3D Gaussian Splatting with neural priors (e.g. depth priors) as an additional supervision, demonstrating promising quality and efficiency compared to the NeRF based methods. However, the neural priors from 2D pretrained models are often noisy and blurry, which struggle to precisely guide the learning of radiance fields. In this paper, We propose a novel method for synthesizing novel views from sparse views with Gaussian Splatting that does not require external prior as supervision. Our key idea lies in exploring the self-supervisions inherent in the binocular stereo consistency between each pair of binocular images constructed with disparity-guided image warping. To this end, we additionally introduce a Gaussian opacity constraint which regularizes the Gaussian locations and avoids Gaussian redundancy for improving the robustness and efficiency of inferring 3D Gaussians from sparse views. Extensive experiments on the LLFF, DTU, and Blender datasets demonstrate that our method significantly outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google