NeuralLabeling: A versatile toolset for labeling vision datasets using Neural Radiance Fields

要約

バウンディング ボックスまたはメッシュを使用してシーンに注釈を付け、セグメンテーション マスク、アフォーダンス マップ、2D バウンディング ボックス、3D バウンディング ボックス、6DOF オブジェクト ポーズ、深度マップ、およびオブジェクト メッシュを生成するためのラベリング アプローチおよびツールセットである NeuralLabeling を紹介します。
NeuralLabeling はレンダラーとして Neural Radiance Fields (NeRF) を使用し、入力として複数の視点からキャプチャされた画像のみに依存して、オクルージョンなどの幾何学的手がかりを組み込みながら 3D 空間ツールを使用してラベリングを実行できるようにします。
NeuralLabeling のロボット工学における実際的な問題への適用可能性を実証するために、透明オブジェクト RGB の 30,000 フレームにグラウンド トゥルース深度マップと、RGBD センサーを使用してキャプチャされた食器洗い機に置かれたグラスのノイズを含む深度マップを追加し、Dishwasher30k データセットを生成しました。
注釈付きの深度マップを使用して、単純なディープ ニューラル ネットワークを教師付きでトレーニングすると、以前に適用された弱い教師付きアプローチでトレーニングした場合よりも高い再構成パフォーマンスが得られることを示します。

要約(オリジナル)

We present NeuralLabeling, a labeling approach and toolset for annotating a scene using either bounding boxes or meshes and generating segmentation masks, affordance maps, 2D bounding boxes, 3D bounding boxes, 6DOF object poses, depth maps and object meshes. NeuralLabeling uses Neural Radiance Fields (NeRF) as renderer, allowing labeling to be performed using 3D spatial tools while incorporating geometric clues such as occlusions, relying only on images captured from multiple viewpoints as input. To demonstrate the applicability of NeuralLabeling to a practical problem in robotics, we added ground truth depth maps to 30000 frames of transparent object RGB and noisy depth maps of glasses placed in a dishwasher captured using an RGBD sensor, yielding the Dishwasher30k dataset. We show that training a simple deep neural network with supervision using the annotated depth maps yields a higher reconstruction performance than training with the previously applied weakly supervised approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google