NeO 360: Neural Fields for Sparse View Synthesis of Outdoor Scenes

要約

最近の暗黙的ニューラル表現は、新しいビュー合成において優れた結果を示しています。
ただし、既存の方法では、多くのビューからシーンごとにコストのかかる最適化が必要となるため、関心のあるオブジェクトや背景が少数のビューから観察される現実世界の境界のない都市設定にその適用が制限されます。
この課題を軽減するために、屋外シーンのスパース ビュー合成のためのニューラル フィールドである NeO 360 と呼ばれる新しいアプローチを導入します。
NeO 360 は、単一または少数のポーズをとった RGB 画像から 360{\deg} シーンを再構成する一般化可能な方法です。
私たちのアプローチの本質は、複雑な現実世界の屋外 3D シーンの分布をキャプチャし、世界の任意の点からクエリできるハイブリッド画像条件付き三平面表現を使用することにあります。
私たちの表現は、ボクセルベースの表現と鳥瞰図 (BEV) 表現の両方の長所を組み合わせており、それぞれより効果的で表現力が豊かです。
NeO 360 の表現により、境界のない 3D シーンの大規模なコレクションから学習できると同時に、推論中にわずか 1 枚の画像から新しいビューや新しいシーンへの一般化が可能になります。
私たちは、NeRDS 360 と呼ばれる、提案されている挑戦的な 360{\deg} 無制限データセットに対するアプローチを実証し、NeO 360 が編集および合成機能を提供しながら、新規ビュー合成において最先端の一般化可能な手法を上回っていることを示します。
プロジェクトページ: https://zubair-irshad.github.io/projects/neo360.html

要約(オリジナル)

Recent implicit neural representations have shown great results for novel view synthesis. However, existing methods require expensive per-scene optimization from many views hence limiting their application to real-world unbounded urban settings where the objects of interest or backgrounds are observed from very few views. To mitigate this challenge, we introduce a new approach called NeO 360, Neural fields for sparse view synthesis of outdoor scenes. NeO 360 is a generalizable method that reconstructs 360{\deg} scenes from a single or a few posed RGB images. The essence of our approach is in capturing the distribution of complex real-world outdoor 3D scenes and using a hybrid image-conditional triplanar representation that can be queried from any world point. Our representation combines the best of both voxel-based and bird’s-eye-view (BEV) representations and is more effective and expressive than each. NeO 360’s representation allows us to learn from a large collection of unbounded 3D scenes while offering generalizability to new views and novel scenes from as few as a single image during inference. We demonstrate our approach on the proposed challenging 360{\deg} unbounded dataset, called NeRDS 360, and show that NeO 360 outperforms state-of-the-art generalizable methods for novel view synthesis while also offering editing and composition capabilities. Project page: https://zubair-irshad.github.io/projects/neo360.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google