Object-Oriented Material Classification and 3D Clustering for Improved Semantic Perception and Mapping in Mobile Robots

要約

さまざまな物体表面の材質の分類は、移動ロボットや自動運転車の意思決定アルゴリズムにおいて重要な役割を果たす可能性があります。
RGB ベースのシーンレベルのセマンティック セグメンテーションについては、文献で詳しく説明されています。
ただし、深度モダリティを使用したマテリアル認識の改善と、3D セマンティック マッピングのための SLAM アルゴリズムとの統合により、ロボット認識パイプラインにおける新たな潜在的な利点が解き放たれる可能性があります。
この目的を達成するために、オブジェクト指向パイプライン上に構築された RGB-D ベースのマテリアル分類のための相補性を意識した深層学習アプローチを提案します。
このアプローチはさらに、ビジュアル SLAM アルゴリズムによって生成された点群マップで検出されたマテリアル セマンティクスのマルチスケール クラスタリングと 3D シーン マッピングのための ORB-SLAM2 メソッドを統合します。
既存の公開データセットと新たに提供された現実世界のロボット データセットを使用した広範な実験結果は、3D セマンティック シーン マッピングの最先端のアプローチと比較して、マテリアル分類と 3D クラスタリングの精度が大幅に向上していることを示しています。

要約(オリジナル)

Classification of different object surface material types can play a significant role in the decision-making algorithms for mobile robots and autonomous vehicles. RGB-based scene-level semantic segmentation has been well-addressed in the literature. However, improving material recognition using the depth modality and its integration with SLAM algorithms for 3D semantic mapping could unlock new potential benefits in the robotics perception pipeline. To this end, we propose a complementarity-aware deep learning approach for RGB-D-based material classification built on top of an object-oriented pipeline. The approach further integrates the ORB-SLAM2 method for 3D scene mapping with multiscale clustering of the detected material semantics in the point cloud map generated by the visual SLAM algorithm. Extensive experimental results with existing public datasets and newly contributed real-world robot datasets demonstrate a significant improvement in material classification and 3D clustering accuracy compared to state-of-the-art approaches for 3D semantic scene mapping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google