A POMDP-based hierarchical planning framework for manipulation under pose uncertainty

要約

ロボットは、遮蔽物によって遮られた物体を回収したり、暗闇の中で照明のスイッチを見つけたりするなど、視覚的なフィードバックが効果的ではない家庭環境でしばしば課題に直面します。
このような場合、接触を利用してターゲット オブジェクトの位置を特定することが効果的です。
我々は、部分的に観察可能なマルコフ決定プロセス（POMDP）として定式化された、姿勢の不確実性を伴う操作タスクのためのバイナリ接触信号を使用するオンライン計画フレームワークを提案します。
信念を単純に粒子セットとして表現すると、国内環境における不確実性が大きいため、計画を実行することが不可能になります。最適なアクションのシーケンスを特定するには、数百万の粒子にわたって数千のアクションを展開する必要があり、膨大な計算時間がかかるためです。
これに対処するために、階層的な信念表現を提案します。
最初に、不確実性を 3D 体積空間で大まかに表現します。
この空間の不確実性を改善するポリシーが計算されて実行され、不確実性が十分に低減されると、問題はタスクの完了前にさらに改善するために粒子空間に戻されます。
当社では、限られた時間の予算内で部分的なポリシーを計算するヒューリスティック検索ベースのいつでもソルバーを備えた閉ループの計画および実行フレームワークを利用しています。
このフレームワークのパフォーマンスは、UR10e マニピュレータを使用してポートにプラグを挿入するという高精度タスクにおいて、現実世界とシミュレーションの両方で実証され、最大 50 センチメートルの位置の不確実性と $2\pi$ に近い角度の不確実性を解決します。
実験結果はフレームワークの有効性を強調しており、現実世界では 93\% の成功率を達成し、貪欲なベースラインと比較してソリューションの品質が 50\% 以上向上し、計画を大幅に加速し、複雑な問題に対するリアルタイムのソリューションを可能にします。

要約(オリジナル)

Robots often face challenges in domestic environments where visual feedback is ineffective, such as retrieving objects obstructed by occlusions or finding a light switch in the dark. In these cases, utilizing contacts to localize the target object can be effective. We propose an online planning framework using binary contact signals for manipulation tasks with pose uncertainty, formulated as a Partially Observable Markov Decision Process (POMDP). Naively representing the belief as a particle set makes planning infeasible due to the large uncertainties in domestic settings, as identifying the best sequence of actions requires rolling out thousands of actions across millions of particles, taking significant compute time. To address this, we propose a hierarchical belief representation. Initially, we represent the uncertainty coarsely in a 3D volumetric space. Policies that refine uncertainty in this space are computed and executed, and once uncertainty is sufficiently reduced, the problem is translated back into the particle space for further refinement before task completion. We utilize a closed-loop planning and execution framework with a heuristic-search-based anytime solver that computes partial policies within a limited time budget. The performance of the framework is demonstrated both in real world and in simulation on the high-precision task of inserting a plug into a port using a UR10e manipulator, resolving positional uncertainties up to 50 centimeters and angular uncertainties close to $2\pi$. Experimental results highlight the framework’s effectiveness, achieving a 93\% success rate in the real world and over 50\% improvement in solution quality compared to greedy baselines, significantly accelerating planning and enabling real-time solutions for complex problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google