ManiCast: Collaborative Manipulation with Cost-Aware Human Forecasting

要約

近接した人間とロボットのシームレスな操作は、人間の動きの正確な予測に依存します。
大規模な予測モデルの学習は大幅に進歩しましたが、これらのモデルを操作タスクに適用すると、重要な移行点で大きな誤差が発生し、下流の計画パフォーマンスの低下につながります。
私たちの重要な洞察は、最も可能性の高い人間の動きを予測するのではなく、将来の人間の動きがロボットの計画のコストにどのような影響を与えるかを把握する予測を作成するだけで十分であるということです。
我々は、コストを意識した人間の予測を学習し、それをモデル予測制御プランナーに供給して協調操作タスクを実行する新しいフレームワークである ManiCast を紹介します。
私たちのフレームワークは、反応的な撹拌、オブジェクトの受け渡し、共同テーブルセッティングなどの多くの実世界のタスクにわたって、人間と 7-DoF ロボット アームの間の流動的なリアルタイムの対話を可能にします。
私たちは、動き予測とエンドツーエンドの予測者/計画者システムの両方を、学習されたヒューリスティックベースラインの範囲に対して評価し、さらに新しいデータセットを提供します。
コードとデータセットは https://portal-cornell.github.io/manicast/ でリリースされます。

要約(オリジナル)

Seamless human-robot manipulation in close proximity relies on accurate forecasts of human motion. While there has been significant progress in learning forecast models at scale, when applied to manipulation tasks, these models accrue high errors at critical transition points leading to degradation in downstream planning performance. Our key insight is that instead of predicting the most likely human motion, it is sufficient to produce forecasts that capture how future human motion would affect the cost of a robot’s plan. We present ManiCast, a novel framework that learns cost-aware human forecasts and feeds them to a model predictive control planner to execute collaborative manipulation tasks. Our framework enables fluid, real-time interactions between a human and a 7-DoF robot arm across a number of real-world tasks such as reactive stirring, object handovers, and collaborative table setting. We evaluate both the motion forecasts and the end-to-end forecaster-planner system against a range of learned and heuristic baselines while additionally contributing new datasets. We release our code and datasets at https://portal-cornell.github.io/manicast/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google