SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects

要約

既製の RGB-D カメラを使用して透明なオブジェクトの正確な深度情報を取得することは、コンピューター ビジョンとロボティクスにおけるよく知られた課題です。
深度推定/完了方法は通常、シミュレーション、追加のセンサー、または特殊なデータ収集セットアップと既知の 3D モデルから取得された高品質の深度ラベルを使用してデータセットで使用され、トレーニングされます。
ただし、大規模なデータセットの信頼できる深度情報を取得するのは簡単ではなく、トレーニングのスケーラビリティと一般化が制限されます。
Neural Radiance Fields (NeRF) は学習不要のアプローチであり、新しいビューの合成と形状の回復において幅広い成功を収めています。
ただし、鏡面を正確にキャプチャするには、多くの場合、ヒューリスティックと制御された環境 (照明、背景など) が必要です。
この論文では、ゼロショット、ラベルフリーの方法でセグメンテーションに Visual Foundation Models (VFM) を使用し、セマンティック フィールドと拡張機能の同時再構築を介してこれらのオブジェクトの NeRF 再構築プロセスをガイドし、堅牢性を高めることを提案します。
私たちが提案した手法 Segmentation-AIDed NeRF (SAID-NeRF) は、透明なオブジェクトやロボットによる把握の深度補完データセットで優れたパフォーマンスを示します。

要約(オリジナル)

Acquiring accurate depth information of transparent objects using off-the-shelf RGB-D cameras is a well-known challenge in Computer Vision and Robotics. Depth estimation/completion methods are typically employed and trained on datasets with quality depth labels acquired from either simulation, additional sensors or specialized data collection setups and known 3d models. However, acquiring reliable depth information for datasets at scale is not straightforward, limiting training scalability and generalization. Neural Radiance Fields (NeRFs) are learning-free approaches and have demonstrated wide success in novel view synthesis and shape recovery. However, heuristics and controlled environments (lights, backgrounds, etc) are often required to accurately capture specular surfaces. In this paper, we propose using Visual Foundation Models (VFMs) for segmentation in a zero-shot, label-free way to guide the NeRF reconstruction process for these objects via the simultaneous reconstruction of semantic fields and extensions to increase robustness. Our proposed method Segmentation-AIDed NeRF (SAID-NeRF) shows significant performance on depth completion datasets for transparent objects and robotic grasping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google