sshELF: Single-Shot Hierarchical Extrapolation of Latent Features for 3D Reconstruction from Sparse-Views

要約

まばらな外向きの景色から無制限の屋外シーンを再構築することは、最小限の視野のオーバーラップのために大きな課題をもたらします。
以前の方法には、クロスシーンの理解が欠けていることが多く、その原始中心の定式化にはローカルな機能が過負荷になり、グローバルなコンテキストが欠落しているため、シーンの目に見えない部分がぼやけます。
潜在的な特徴の階層外挿を介したスパースビュー3Dシーンの再構築のための高速でシングルショットパイプラインであるSshelfを提案します。
私たちの重要な洞察は、プリミティブデコードからの情報の外挿により、トレーニングシーン全体で構造パターンを効率的に転送できることです。
私たちの方法：（1）クロスシーン事前に学習して、観察されていない領域に外挿する中間の仮想ビューを生成することを学習します。
3）潜在的な特徴とテクスチャの共同推論のための事前に訓練された基礎モデルを統合し、シーンの理解と一般化を改善します。
Sshelfは、6つのまばらな入力ビューから360度シーンを再構築し、合成および実世界のデータセットで競争結果を達成できます。
Sshelfは、閉塞された領域を忠実に再構築し、リアルタイムのレンダリングをサポートし、ダウンストリームアプリケーションに豊富な潜在的な機能を提供することがわかります。
コードがリリースされます。

要約(オリジナル)

Reconstructing unbounded outdoor scenes from sparse outward-facing views poses significant challenges due to minimal view overlap. Previous methods often lack cross-scene understanding and their primitive-centric formulations overload local features to compensate for missing global context, resulting in blurriness in unseen parts of the scene. We propose sshELF, a fast, single-shot pipeline for sparse-view 3D scene reconstruction via hierarchal extrapolation of latent features. Our key insights is that disentangling information extrapolation from primitive decoding allows efficient transfer of structural patterns across training scenes. Our method: (1) learns cross-scene priors to generate intermediate virtual views to extrapolate to unobserved regions, (2) offers a two-stage network design separating virtual view generation from 3D primitive decoding for efficient training and modular model design, and (3) integrates a pre-trained foundation model for joint inference of latent features and texture, improving scene understanding and generalization. sshELF can reconstruct 360 degree scenes from six sparse input views and achieves competitive results on synthetic and real-world datasets. We find that sshELF faithfully reconstructs occluded regions, supports real-time rendering, and provides rich latent features for downstream applications. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google