S3M: Semantic Segmentation Sparse Mapping for UAVs with RGB-D Camera

要約

無人航空機 (UAV) は、屋内環境の正確な認識が最も重要な捜索救助活動などの重要な用途において、計り知れない可能性を秘めています。
ただし、ローカライゼーション、3D 再構成、セマンティック セグメンテーションを同時に行うことは、特に限られた電力と計算リソースを備えた UAV の場合、顕著な障害となります。
この論文では、UAV 運用における意味情報の抽出と利用における課題に対処するための新しいアプローチを紹介します。
当社のシステムは、バックエンドで包括的な 6-DoF ポーズと高度なオブジェクト セグメンテーション手法を推定するための最先端のビジュアル SLAM を統合しています。
フレームワークの計算効率とストレージ効率を向上させるために、合理化されたボクセルベースの 3D マップ表現である OctoMap を採用して、実用的なシステムを構築します。
さらに、フロントエンド SLAM タスクから各フレームの意味情報と対応点を取得するために、融合アルゴリズムが組み込まれています。
セマンティック情報を活用することで、私たちのフレームワークは屋内空間を認識して移動する UAV の能力を強化し、姿勢推定の精度と不確実性の低減における課題に対処します。
Gazebo シミュレーションを通じて、提案したシステムの有効性を検証し、実際のアプリケーション用に Jetson Xavier AGX ユニットにアプローチを組み込むことに成功しました。

要約(オリジナル)

Unmanned Aerial Vehicles (UAVs) hold immense potential for critical applications, such as search and rescue operations, where accurate perception of indoor environments is paramount. However, the concurrent amalgamation of localization, 3D reconstruction, and semantic segmentation presents a notable hurdle, especially in the context of UAVs equipped with constrained power and computational resources. This paper presents a novel approach to address challenges in semantic information extraction and utilization within UAV operations. Our system integrates state-of-the-art visual SLAM to estimate a comprehensive 6-DoF pose and advanced object segmentation methods at the back end. To improve the computational and storage efficiency of the framework, we adopt a streamlined voxel-based 3D map representation – OctoMap to build a working system. Furthermore, the fusion algorithm is incorporated to obtain the semantic information of each frame from the front-end SLAM task, and the corresponding point. By leveraging semantic information, our framework enhances the UAV’s ability to perceive and navigate through indoor spaces, addressing challenges in pose estimation accuracy and uncertainty reduction. Through Gazebo simulations, we validate the efficacy of our proposed system and successfully embed our approach into a Jetson Xavier AGX unit for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google