Map Space Belief Prediction for Manipulation-Enhanced Mapping

要約

散らかった環境でオブジェクトを検索するには、オクルージョンを削除し、オブジェクトの位置、形状、カテゴリの不確実性を減らすために、効率的な視点と操作アクションを選択する必要があります。
この作業では、操作が強化されたセマンティックマッピングの問題に対処します。ここでは、ロボットが散らかった棚のすべてのオブジェクトを効率的に識別する必要があります。
部分的に観察可能なマルコフ決定プロセス〜（POMDP）は不確実性の下での意思決定の標準ですが、非構造化されたインタラクティブな世界を表すこの形式主義では依然として挑戦的です。
これに取り組むために、メトリックセマンチックなグリッドマップによって信念が要約されているPOMDPを定義し、ニューラルネットワークを使用してオブジェクトの幾何学、位置、カテゴリ、オクルージャー、および操作物理学について効率的かつ同時に推論的に推論するためにマップ空間信念の更新を実行する新しいフレームワークを提案します。
さらに、正確な情報ゲイン分析を有効にするために、学習された信念の更新は、不確実性の校正された推定値を維持する必要があります。
したがって、校正済みのニューラル加速化された信念更新（CNABU）を提案して、新しいシナリオに一般化し、未知の領域に信頼性の校正予測を提供する信念伝播モデルを学習します。
私たちの実験は、私たちの新しいPOMDPプランナーが、挑戦的なシミュレーションにおける既存の方法に対するマップの完全性と正確性を改善し、ゼロショットで実際の散らかった棚に正常に転送することを示しています。

要約(オリジナル)

Searching for objects in cluttered environments requires selecting efficient viewpoints and manipulation actions to remove occlusions and reduce uncertainty in object locations, shapes, and categories. In this work, we address the problem of manipulation-enhanced semantic mapping, where a robot has to efficiently identify all objects in a cluttered shelf. Although Partially Observable Markov Decision Processes~(POMDPs) are standard for decision-making under uncertainty, representing unstructured interactive worlds remains challenging in this formalism. To tackle this, we define a POMDP whose belief is summarized by a metric-semantic grid map and propose a novel framework that uses neural networks to perform map-space belief updates to reason efficiently and simultaneously about object geometries, locations, categories, occlusions, and manipulation physics. Further, to enable accurate information gain analysis, the learned belief updates should maintain calibrated estimates of uncertainty. Therefore, we propose Calibrated Neural-Accelerated Belief Updates (CNABUs) to learn a belief propagation model that generalizes to novel scenarios and provides confidence-calibrated predictions for unknown areas. Our experiments show that our novel POMDP planner improves map completeness and accuracy over existing methods in challenging simulations and successfully transfers to real-world cluttered shelves in zero-shot fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google