Unsupervised Discovery of Object-Centric Neural Fields

要約

私たちは、単一の画像から 3D オブジェクト中心のシーン表現を推測することを研究しています。
最近の方法は、単純な合成画像から教師なし 3D オブジェクトを発見できる可能性を示していますが、視覚的に豊かで多様なオブジェクトを含む現実世界のシーンに一般化することはできません。
この制限は、形状や外観などのオブジェクトの固有の属性と、3D 位置などのビューア中心の外部プロパティが絡み合っているオブジェクト表現に起因します。
このボトルネックに対処するために、オブジェクト中心ニューラル フィールド (uOCF) の教師なし発見を提案します。
uOCF はオブジェクトの内部機能を学習することに重点を置き、外部機能を個別にモデル化します。
私たちのアプローチは体系的な一般化を大幅に改善し、まばらな現実世界の画像から高忠実度のオブジェクト中心のシーン表現の教師なし学習を可能にします。
私たちのアプローチを評価するために、2 つの実際のキッチン環境を含む 3 つの新しいデータセットを収集します。
広範な実験により、uOCF により単一の実画像から視覚的に豊かなオブジェクトを教師なしで発見できるようになり、3D オブジェクトのセグメンテーションやシーン操作などのアプリケーションが可能になることが示されています。
特に、uOCF は、単一の実画像からの目に見えないオブジェクトに対するゼロショット一般化を実証します。
プロジェクトページ：https://red-fairy.github.io/uOCF/

要約(オリジナル)

We study inferring 3D object-centric scene representations from a single image. While recent methods have shown potential in unsupervised 3D object discovery from simple synthetic images, they fail to generalize to real-world scenes with visually rich and diverse objects. This limitation stems from their object representations, which entangle objects’ intrinsic attributes like shape and appearance with extrinsic, viewer-centric properties such as their 3D location. To address this bottleneck, we propose Unsupervised discovery of Object-Centric neural Fields (uOCF). uOCF focuses on learning the intrinsics of objects and models the extrinsics separately. Our approach significantly improves systematic generalization, thus enabling unsupervised learning of high-fidelity object-centric scene representations from sparse real-world images. To evaluate our approach, we collect three new datasets, including two real kitchen environments. Extensive experiments show that uOCF enables unsupervised discovery of visually rich objects from a single real image, allowing applications such as 3D object segmentation and scene manipulation. Notably, uOCF demonstrates zero-shot generalization to unseen objects from a single real image. Project page: https://red-fairy.github.io/uOCF/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google