ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces

要約

近年、ニューラル・インプリシット・サーフェス再構成は、多視点 3D 再構成の一般的なパラダイムとして台頭しています。
従来のマルチビュー ステレオ アプローチとは異なり、ニューラル インプリシット サーフェスベースの手法では、ニューラル ネットワークを利用して 3D シーンを符号付き距離関数 (SDF) として表現します。
ただし、シーン内の個々のオブジェクトの再構成を無視する傾向があるため、パフォーマンスと実際のアプリケーションが制限されます。
この問題に対処するために、以前の作品 ObjectSDF では、2D インスタンス マスクを利用して個々のオブジェクト SDF を監視するオブジェクト合成ニューラル インプリシット サーフェスの優れたフレームワークが導入されました。
このペーパーでは、ObjectSDF の制限を克服するために、ObjectSDF++ と呼ばれる新しいフレームワークを提案します。
まず、変換されたセマンティック フィールドによってパフォーマンスが主に制限される ObjectSDF とは対照的に、私たちのモデルのコア コンポーネントは、インスタンス マスクで監視されるオブジェクトの不透明度を直接ボリューム レンダリングする、オクルージョンを意識したオブジェクトの不透明度レンダリングの定式化です。
次に、オブジェクトを区別するための新しい正則化項を設計します。これにより、衝突を防ぐための制約がないために、ObjectSDF が目に見えない領域で予期しない再構成が発生する可能性があるという問題を効果的に軽減できます。
私たちの広範な実験により、私たちの新しいフレームワークが優れたオブジェクト再構成結果を生み出すだけでなく、シーン再構成の品質も大幅に向上することが実証されました。
コードとその他のリソースは \url{https://qianyiwu.github.io/objectsdf++} にあります。

要約(オリジナル)

In recent years, neural implicit surface reconstruction has emerged as a popular paradigm for multi-view 3D reconstruction. Unlike traditional multi-view stereo approaches, the neural implicit surface-based methods leverage neural networks to represent 3D scenes as signed distance functions (SDFs). However, they tend to disregard the reconstruction of individual objects within the scene, which limits their performance and practical applications. To address this issue, previous work ObjectSDF introduced a nice framework of object-composition neural implicit surfaces, which utilizes 2D instance masks to supervise individual object SDFs. In this paper, we propose a new framework called ObjectSDF++ to overcome the limitations of ObjectSDF. First, in contrast to ObjectSDF whose performance is primarily restricted by its converted semantic field, the core component of our model is an occlusion-aware object opacity rendering formulation that directly volume-renders object opacity to be supervised with instance masks. Second, we design a novel regularization term for object distinction, which can effectively mitigate the issue that ObjectSDF may result in unexpected reconstruction in invisible regions due to the lack of constraint to prevent collisions. Our extensive experiments demonstrate that our novel framework not only produces superior object reconstruction results but also significantly improves the quality of scene reconstruction. Code and more resources can be found in \url{https://qianyiwu.github.io/objectsdf++}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google