Volumetric Semantically Consistent 3D Panoptic Mapping

要約

非構造化環境の自律エージェントに適した、包括的で正確かつ効率的なセマンティック 3D マップを生成することを目的とした、オンライン 2D から 3D セマンティック インスタンス マッピング アルゴリズムを導入します。
提案されたアプローチは、最近のアルゴリズムで使用される Voxel-TSDF 表現に基づいています。
これは、マッピング中にセマンティック予測の信頼性を統合し、セマンティックでインスタンスの一貫性のある 3D 領域を生成する新しい方法を導入します。
グラフ最適化ベースのセマンティック ラベリングとインスタンスの改良により、さらなる改善が実現します。
提案された方法は、公開されている大規模データセットで最新技術を上回る精度を達成し、広く使用されている多くの指標を改善します。
また、最近の研究の評価における失敗も強調します。SLAM で推定された軌道の代わりにグラウンド トゥルース軌道を入力として使用すると、精度に大きな影響があり、報告された結果と現実世界のデータでの実際のパフォーマンスの間に大きなギャップが生じます。

要約(オリジナル)

We introduce an online 2D-to-3D semantic instance mapping algorithm aimed at generating comprehensive, accurate, and efficient semantic 3D maps suitable for autonomous agents in unstructured environments. The proposed approach is based on a Voxel-TSDF representation used in recent algorithms. It introduces novel ways of integrating semantic prediction confidence during mapping, producing semantic and instance-consistent 3D regions. Further improvements are achieved by graph optimization-based semantic labeling and instance refinement. The proposed method achieves accuracy superior to the state of the art on public large-scale datasets, improving on a number of widely used metrics. We also highlight a downfall in the evaluation of recent studies: using the ground truth trajectory as input instead of a SLAM-estimated one substantially affects the accuracy, creating a large gap between the reported results and the actual performance on real-world data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google