Catch It! Learning to Catch in Flight with Mobile Dexterous Hands

要約

飛行中の物体 (つまり、投げられた物体) をキャッチすることは人間にとって日常的なスキルですが、ロボットにとっては大きな課題となります。
このタスクには、機敏で正確な動き、広い空間ワークスペース、およびさまざまなオブジェクトと対話する能力を備えたロボットが必要です。
この論文では、このような困難なタスクに取り組むために、可動ベース、6 自由度のアーム、および 12 自由度の器用なハンドで構成される可動マニピュレーターを構築します。
この高自由度システムの全身制御捕捉ポリシーをシミュレーションで効率的に訓練するための 2 段階の強化学習フレームワークを提案します。
オブジェクトの投擲構成、形状、サイズはトレーニング中にランダム化され、飛行中のさまざまな軌道やオブジェクトの特性に対するポリシーの適応性が強化されます。
結果は、トレーニングされたポリシーが、シミュレーションで約 80\% という高い成功率で、ランダムに投げられた軌道を持つ多様なオブジェクトを捕捉し、ベースラインを大幅に改善したことを示しています。
シミュレーションでトレーニングされたポリシーは、オンボードセンシングとコンピューティングを使用して現実世界に直接展開でき、人間がランダムに投げたさまざまな形の土嚢をキャッチすることができます。
私たちのプロジェクト ページは https://mobile-dex-catch.github.io/ で利用できます。

要約(オリジナル)

Catching objects in flight (i.e., thrown objects) is a common daily skill for humans, yet it presents a significant challenge for robots. This task requires a robot with agile and accurate motion, a large spatial workspace, and the ability to interact with diverse objects. In this paper, we build a mobile manipulator composed of a mobile base, a 6-DoF arm, and a 12-DoF dexterous hand to tackle such a challenging task. We propose a two-stage reinforcement learning framework to efficiently train a whole-body-control catching policy for this high-DoF system in simulation. The objects’ throwing configurations, shapes, and sizes are randomized during training to enhance policy adaptivity to various trajectories and object characteristics in flight. The results show that our trained policy catches diverse objects with randomly thrown trajectories, at a high success rate of about 80\% in simulation, with a significant improvement over the baselines. The policy trained in simulation can be directly deployed in the real world with onboard sensing and computation, which achieves catching sandbags in various shapes, randomly thrown by humans. Our project page is available at https://mobile-dex-catch.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google