Category-level Neural Field for Reconstruction of Partially Observed Objects in Indoor Environment

要約

ニューラル暗黙的表現は、さまざまな成功例を通じて 3D 再構築において注目を集めています。
シーンの理解や編集などのさらなる応用については、オブジェクトの構成の再構成に向けた進歩がいくつかの研究で示されています。
観察された領域では優れたパフォーマンスを発揮しますが、部分的に観察されたオブジェクトの再構成ではパフォーマンスが依然として制限されています。
この問題をより適切に扱うために、シーン内に存在する同じカテゴリに属する​​オブジェクト間で意味のある共通の 3D 情報を学習するカテゴリレベルのニューラル フィールドを導入します。
私たちの重要なアイデアは、カテゴリレベルのモデルのトレーニングを改善するために、観察された形状に基づいてオブジェクトをサブ分類することです。
次に、神経フィールドを利用して、光線ベースの不確実性によって選択された代表的なオブジェクトを選択して位置合わせすることにより、部分的に観察されたオブジェクトを登録するという困難なタスクを実行します。
シミュレーションと現実世界のデータセットの両方での実験により、私たちの方法がいくつかのカテゴリの未観測部分の再構成を改善することが実証されました。

要約(オリジナル)

Neural implicit representation has attracted attention in 3D reconstruction through various success cases. For further applications such as scene understanding or editing, several works have shown progress towards object compositional reconstruction. Despite their superior performance in observed regions, their performance is still limited in reconstructing objects that are partially observed. To better treat this problem, we introduce category-level neural fields that learn meaningful common 3D information among objects belonging to the same category present in the scene. Our key idea is to subcategorize objects based on their observed shape for better training of the category-level model. Then we take advantage of the neural field to conduct the challenging task of registering partially observed objects by selecting and aligning against representative objects selected by ray-based uncertainty. Experiments on both simulation and real-world datasets demonstrate that our method improves the reconstruction of unobserved parts for several categories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google