Object-Compositional Neural Implicit Surfaces

要約

ニューラル暗黙的表現は、新しいビュー合成とマルチビュー画像からの高品質の 3D 再構成においてその有効性を示しています。
ただし、ほとんどのアプローチは全体的なシーン表現に焦点を当てていますが、その中の個々のオブジェクトを無視しているため、潜在的なダウンストリーム アプリケーションが制限されています。
オブジェクト構成表現を学習するために、いくつかの作品では、オブジェクト間の違いを把握するためのトレーニングの合図として 2D セマンティック マップが組み込まれています。
しかし、オブジェクトのジオメトリとインスタンスのセマンティック情報との間の強いつながりを無視しているため、個々のインスタンスのモデリングが不正確になります。
この論文では、3D 再構成とオブジェクト表現において忠実度の高いオブジェクト構成ニューラル暗黙的表現を構築するための新しいフレームワーク ObjectSDF を提案します。
従来のボリューム レンダリング パイプラインのあいまいさを観察し、個々のオブジェクトの符号付き距離関数 (SDF) を組み合わせてシーンをモデル化し、明示的な表面制約を適用します。
異なるインスタンスを区別する際の鍵は、個々のオブジェクトの SDF とセマンティック ラベルの間の強い関連性を再検討することです。
特に、セマンティック情報をオブジェクト SDF の関数に変換し、シーンとオブジェクトの統一されたコンパクトな表現を開発します。
実験結果は、全体的なオブジェクト構成シーンと個々のインスタンスの両方を表現する上で、ObjectSDF フレームワークの優位性を示しています。
コードは https://qianyiwu.github.io/objectsdf/ にあります。

要約(オリジナル)

The neural implicit representation has shown its effectiveness in novel view synthesis and high-quality 3D reconstruction from multi-view images. However, most approaches focus on holistic scene representation yet ignore individual objects inside it, thus limiting potential downstream applications. In order to learn object-compositional representation, a few works incorporate the 2D semantic map as a cue in training to grasp the difference between objects. But they neglect the strong connections between object geometry and instance semantic information, which leads to inaccurate modeling of individual instance. This paper proposes a novel framework, ObjectSDF, to build an object-compositional neural implicit representation with high fidelity in 3D reconstruction and object representation. Observing the ambiguity of conventional volume rendering pipelines, we model the scene by combining the Signed Distance Functions (SDF) of individual object to exert explicit surface constraint. The key in distinguishing different instances is to revisit the strong association between an individual object’s SDF and semantic label. Particularly, we convert the semantic information to a function of object SDF and develop a unified and compact representation for scene and objects. Experimental results show the superiority of ObjectSDF framework in representing both the holistic object-compositional scene and the individual instances. Code can be found at https://qianyiwu.github.io/objectsdf/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google