Automatically Annotating Indoor Images with CAD Models via RGB-D Scans

要約

RGB-D スキャンに依存して、オブジェクトの CAD モデルを使用して屋内シーンの画像に自動的に注釈を付ける方法を提示します。
3D の専門家による視覚的な評価を通じて、私たちの方法が少なくとも手動の注釈と同じくらい正確な注釈を取得し、3D データに手動で注釈を付ける負担なしにグラウンド トゥルースとして使用できることを示します。
これは、CAD モデルのレンダリングとキャプチャしたシーンを比較する合成による分析アプローチを使用して行います。
同じジオメトリを持つオブジェクトを識別し、これらのオブジェクトに同じ CAD モデルで注釈を付ける「複製手順」を導入します。
これにより、ScanNet データセットと最近の ARKitScenes データセットの完全な注釈を取得できます。

要約(オリジナル)

We present an automatic method for annotating images of indoor scenes with the CAD models of the objects by relying on RGB-D scans. Through a visual evaluation by 3D experts, we show that our method retrieves annotations that are at least as accurate as manual annotations, and can thus be used as ground truth without the burden of manually annotating 3D data. We do this using an analysis-by-synthesis approach, which compares renderings of the CAD models with the captured scene. We introduce a ‘cloning procedure’ that identifies objects that have the same geometry, to annotate these objects with the same CAD models. This allows us to obtain complete annotations for the ScanNet dataset and the recent ARKitScenes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google