DORec: Decomposed Object Reconstruction Utilizing 2D Self-Supervised Features

要約

再構築中に複雑な背景からターゲット オブジェクトを分解するのは困難です。
ほとんどのアプローチでは、手動ラベルを使用してオブジェクト インスタンスの認識を取得しますが、注釈の手順にはコストがかかります。
2D 自己教師あり学習の最近の進歩により、オブジェクト認識表現に新たな展望がもたらされましたが、このようなノイズの多い 2D 特徴をクリーンな分解にどのように活用するかは依然として不明です。
この論文では、ニューラル暗黙的表現に基づいた分解オブジェクト再構成 (DORec) ネットワークを提案します。
私たちの重要なアイデアは、2D 自己教師あり特徴を 2 レベルの粒度のマスクに転送して、前景領域を示すバイナリ マスクと意味的に類似した領域を示す K クラスター マスクを含む、分解を監視することです。
これら 2 つのマスクは互いに補完的であり、堅牢な分解をもたらします。
実験結果は、さまざまなデータセット上で前景オブジェクトのセグメント化と再構築における DORec の優位性を示しています。

要約(オリジナル)

Decomposing a target object from a complex background while reconstructing is challenging. Most approaches acquire the perception for object instances through the use of manual labels, but the annotation procedure is costly. The recent advancements in 2D self-supervised learning have brought new prospects to object-aware representation, yet it remains unclear how to leverage such noisy 2D features for clean decomposition. In this paper, we propose a Decomposed Object Reconstruction (DORec) network based on neural implicit representations. Our key idea is to transfer 2D self-supervised features into masks of two levels of granularity to supervise the decomposition, including a binary mask to indicate the foreground regions and a K-cluster mask to indicate the semantically similar regions. These two masks are complementary to each other and lead to robust decomposition. Experimental results show the superiority of DORec in segmenting and reconstructing the foreground object on various datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google