DM-NeRF: 3D Scene Geometry Decomposition and Manipulation from 2D Images

要約

この論文では、2D ビューからの 3D シーン ジオメトリの分解と操作の問題について説明します。
最近の暗黙的なニューラル表現技術、特に魅力的なニューラル ラディアンス フィールドを活用することにより、2D 監視のみから 3D 空間内のすべての個々のオブジェクトの一意のコードを学習するオブジェクト フィールド コンポーネントを導入します。
このコンポーネントの鍵は、3D ラベルがなくても、すべての 3D ポイントを、特に占有されていないスペースで効果的に最適化できるように、注意深く設計された一連の損失関数です。
さらに、学習したシーン表現で指定された 3D オブジェクト形状を自由に操作するための逆クエリ アルゴリズムを導入します。
特に、私たちの操作アルゴリズムは、オブジェクトの衝突や視覚的なオクルージョンなどの重要な問題に明示的に取り組むことができます。
DM-NeRF と呼ばれる私たちの方法は、単一のパイプラインで複雑な 3D シーンを同時に再構成、分解、操作、およびレンダリングする最初の方法の 1 つです。
3 つのデータセットに対する広範な実験により、この方法が 2D ビューからすべての 3D オブジェクトを正確に分解できることが明確に示され、移動、回転、サイズ調整、変形など、関心のあるオブジェクトを 3D 空間で自由に操作できます。

要約(オリジナル)

In this paper, we study the problem of 3D scene geometry decomposition and manipulation from 2D views. By leveraging the recent implicit neural representation techniques, particularly the appealing neural radiance fields, we introduce an object field component to learn unique codes for all individual objects in 3D space only from 2D supervision. The key to this component is a series of carefully designed loss functions to enable every 3D point, especially in non-occupied space, to be effectively optimized even without 3D labels. In addition, we introduce an inverse query algorithm to freely manipulate any specified 3D object shape in the learned scene representation. Notably, our manipulation algorithm can explicitly tackle key issues such as object collisions and visual occlusions. Our method, called DM-NeRF, is among the first to simultaneously reconstruct, decompose, manipulate and render complex 3D scenes in a single pipeline. Extensive experiments on three datasets clearly show that our method can accurately decompose all 3D objects from 2D views, allowing any interested object to be freely manipulated in 3D space such as translation, rotation, size adjustment, and deformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google