MAP-ADAPT: Real-Time Quality-Adaptive Semantic 3D Maps

要約

環境の 3D セマンティック再構築の作成は、特に自律エージェントの動作 (目標指向のナビゲーションやオブジェクトの対話と操作など) に関連する場合、多くのアプリケーションにとって基礎となります。
一般に、3D セマンティック再構成システムは、シーン全体を同じ詳細レベルでキャプチャします。
ただし、特定のタスク (オブジェクトの対話など) では、特に対話するオブジェクトのサイズが小さい場合や複雑な形状の場合、きめの細かい高解像度のマップが必要です。
最近の実践では、これによりマップ全体が同じ高品質の解像度になるため、計算コストとストレージ コストが増加します。
この課題に対処するために、RGBD フレームを使用した品質適応型セマンティック 3D 再構成のリアルタイム手法である MAP-ADAPT を提案します。
MAP-ADAPT は、これまでの研究とは異なり、セマンティック情報とシーンの幾何学的複雑さの両方に基づいて、異なる品質の領域を含む単一のマップを直接生成する、初の適応型セマンティック 3D マッピング アルゴリズムです。
ポーズとセマンティック推定にセマンティック SLAM パイプラインを活用することで、ストレージと計算の要件を大幅に削減しながら、合成データと現実世界のデータに対して最先端の手法と同等以上の結果を達成します。

要約(オリジナル)

Creating 3D semantic reconstructions of environments is fundamental to many applications, especially when related to autonomous agent operation (e.g., goal-oriented navigation or object interaction and manipulation). Commonly, 3D semantic reconstruction systems capture the entire scene in the same level of detail. However, certain tasks (e.g., object interaction) require a fine-grained and high-resolution map, particularly if the objects to interact are of small size or intricate geometry. In recent practice, this leads to the entire map being in the same high-quality resolution, which results in increased computational and storage costs. To address this challenge, we propose MAP-ADAPT, a real-time method for quality-adaptive semantic 3D reconstruction using RGBD frames. MAP-ADAPT is the first adaptive semantic 3D mapping algorithm that, unlike prior work, generates directly a single map with regions of different quality based on both the semantic information and the geometric complexity of the scene. Leveraging a semantic SLAM pipeline for pose and semantic estimation, we achieve comparable or superior results to state-of-the-art methods on synthetic and real-world data, while significantly reducing storage and computation requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google