Particle-based Instance-aware Semantic Occupancy Mapping in Dynamic Environments

要約

インスタンスを認識したセマンティック情報と幾何学的な情報を使用して 3D 環境を表現することは、動的環境におけるインタラクション認識ロボットにとって重要です。
それにもかかわらず、そのような表現を作成するには、センサーのノイズ、インスタンスのセグメンテーションと追跡エラー、およびオブジェクトの動的な動きにより課題が生じます。
この論文では、これらの課題に取り組むための新しい粒子ベースのインスタンス認識セマンティック占有マップを紹介します。
インスタンス状態が拡張されたパーティクルは、オブジェクトの確率仮説密度 (PHD) を推定し、環境を暗黙的にモデル化するために使用されます。
State-augmented Sequential Monte Carlo PHD (S$^2$MC-PHD) フィルターを利用して、これらのパーティクルは更新され、占有ステータス、セマンティック、インスタンス ID を共同で推定し、ノイズを軽減します。
さらに、以前に観察されたオブジェクトに対するマップの応答性を高めるために、メモリ モジュールが採用されています。
Virtual KITTI 2 データセットの実験結果は、提案されたアプローチが、さまざまなノイズ条件下で複数のメトリクスにわたって最先端の手法を上回ることを示しています。
実世界のデータを使用した後続のテストでは、提案されたアプローチの有効性がさらに検証されます。

要約(オリジナル)

Representing the 3D environment with instance-aware semantic and geometric information is crucial for interaction-aware robots in dynamic environments. Nonetheless, creating such a representation poses challenges due to sensor noise, instance segmentation and tracking errors, and the objects’ dynamic motion. This paper introduces a novel particle-based instance-aware semantic occupancy map to tackle these challenges. Particles with an augmented instance state are used to estimate the Probability Hypothesis Density (PHD) of the objects and implicitly model the environment. Utilizing a State-augmented Sequential Monte Carlo PHD (S$^2$MC-PHD) filter, these particles are updated to jointly estimate occupancy status, semantic, and instance IDs, mitigating noise. Additionally, a memory module is adopted to enhance the map’s responsiveness to previously observed objects. Experimental results on the Virtual KITTI 2 dataset demonstrate that the proposed approach surpasses state-of-the-art methods across multiple metrics under different noise conditions. Subsequent tests using real-world data further validate the effectiveness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google