Dynamic Handover: Throw and Catch with Bimanual Hands

要約

人間は常に物を投げたり、捕まえたりします。
しかし、このような一見一般的なスキルは、ロボットが達成すべき多くの課題をもたらします。ロボットは、このような動的な動作を高速で実行し、正確に連携し、多様なオブジェクトと対話する必要があります。
この論文では、この問題を解決するために、ロボット アームに取り付けられた 2 つの多指ハンドを備えたシステムを設計します。
シミュレーションでマルチエージェント強化学習を使用してシステムをトレーニングし、Sim2Real 転送を実行して実際のロボットにデプロイします。
Sim2Real のギャップを克服するために、オブジェクトの軌道予測モデルの学習を含む複数の新しいアルゴリズム設計を提供します。
このようなモデルは、ロボット キャッチャーが物体がどこへ向かうかをリアルタイムで推定し、それに応じて反応するのに役立ちます。
私たちは実世界のシステム内の複数のオブジェクトを使用して実験を実施し、複数のベースラインに対して大幅な改善を示しました。
私たちのプロジェクト ページは \url{https://binghao-huang.github.io/dynamic_handover/} からご覧いただけます。

要約(オリジナル)

Humans throw and catch objects all the time. However, such a seemingly common skill introduces a lot of challenges for robots to achieve: The robots need to operate such dynamic actions at high-speed, collaborate precisely, and interact with diverse objects. In this paper, we design a system with two multi-finger hands attached to robot arms to solve this problem. We train our system using Multi-Agent Reinforcement Learning in simulation and perform Sim2Real transfer to deploy on the real robots. To overcome the Sim2Real gap, we provide multiple novel algorithm designs including learning a trajectory prediction model for the object. Such a model can help the robot catcher has a real-time estimation of where the object will be heading, and then react accordingly. We conduct our experiments with multiple objects in the real-world system, and show significant improvements over multiple baselines. Our project page is available at \url{https://binghao-huang.github.io/dynamic_handover/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google