3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data

要約

反射面は、ロボット工学や自律システムにおける信頼性の高い 3D マッピングと認識に対して永続的な課題をもたらします。
ただし、既存の反射データセットとベンチマークは依然としてまばらな 2D データに限定されています。
この論文では、さまざまな反射のある多様な屋内環境にわたる、マルチリターン Lidar、RGB 画像、2D/3D セマンティック ラベルの 50,000 以上の位置合わせされたサンプルを含む、初の大規模 3D 反射検出データセットを紹介します。
テクスチャ付き 3D グラウンド トゥルース メッシュにより、自動点群ラベル付けが可能になり、正確なグラウンド トゥルース アノテーションが提供されます。
詳細なベンチマークでは、3 つの Lidar 点群セグメンテーション手法と、ガラスと鏡の検出のための現在の最先端の画像セグメンテーション ネットワークを評価します。
提案されたデータセットは、正確なグローバル アライメント、マルチモーダル データ、および多様な反射物体と材料を備えた包括的なテストベッドを提供することにより、反射検出を進歩させます。
これにより、信頼性の高い反射検出に向けた将来の研究が推進されるでしょう。
データセットは http://3dref.github.io で公開されています。

要約(オリジナル)

Reflective surfaces present a persistent challenge for reliable 3D mapping and perception in robotics and autonomous systems. However, existing reflection datasets and benchmarks remain limited to sparse 2D data. This paper introduces the first large-scale 3D reflection detection dataset containing more than 50,000 aligned samples of multi-return Lidar, RGB images, and 2D/3D semantic labels across diverse indoor environments with various reflections. Textured 3D ground truth meshes enable automatic point cloud labeling to provide precise ground truth annotations. Detailed benchmarks evaluate three Lidar point cloud segmentation methods, as well as current state-of-the-art image segmentation networks for glass and mirror detection. The proposed dataset advances reflection detection by providing a comprehensive testbed with precise global alignment, multi-modal data, and diverse reflective objects and materials. It will drive future research towards reliable reflection detection. The dataset is publicly available at http://3dref.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google