Motion Tracks: A Unified Representation for Human-Robot Transfer in Few-Shot Imitation Learning

要約

日常業務を自律的に完了できるようにロボットに教えることは、依然として課題です。
模倣学習 (IL) は、デモンストレーションを通じてロボットにスキルを植え付ける強力なアプローチですが、遠隔操作ロボットのデータを収集するという労働集約的なプロセスによって制限されます。
人間のビデオはスケーラブルな代替手段を提供しますが、ロボットのアクション ラベルがないため、人間のビデオから IL ポリシーを直接トレーニングすることは依然として困難です。
これに対処するために、アクションを画像上の短地平線 2D 軌跡として表現することを提案します。
これらのアクション、つまりモーション トラックは、人間の手またはロボットのエンドエフェクターの予測された動きの方向をキャプチャします。
画像観測を受け取り、モーション トラックをアクションとして出力する、モーション トラック ポリシー (MT-pi) と呼ばれる IL ポリシーをインスタンス化します。
この統一された、複数の実施形態にまたがるアクション空間を活用することにより、MT-pi は、わずか数分間の人間のビデオと限られた追加のロボットのデモンストレーションを考慮して、高い成功率でタスクを完了します。
テスト時には、2 つのカメラ ビューからモーション トラックを予測し、マルチビュー合成によって 6DoF の軌道を復元します。
MT-pi は、現実世界の 4 つのタスクで平均成功率 86.5% を達成し、人間のデータや行動空間を活用しない最先端の IL ベースラインを 40% 上回り、人間のみに見られるシナリオに一般化します。
ビデオ。
コードとビデオは、Web サイト https://portal-cornell.github.io/motion_track_policy/ で入手できます。

要約(オリジナル)

Teaching robots to autonomously complete everyday tasks remains a challenge. Imitation Learning (IL) is a powerful approach that imbues robots with skills via demonstrations, but is limited by the labor-intensive process of collecting teleoperated robot data. Human videos offer a scalable alternative, but it remains difficult to directly train IL policies from them due to the lack of robot action labels. To address this, we propose to represent actions as short-horizon 2D trajectories on an image. These actions, or motion tracks, capture the predicted direction of motion for either human hands or robot end-effectors. We instantiate an IL policy called Motion Track Policy (MT-pi) which receives image observations and outputs motion tracks as actions. By leveraging this unified, cross-embodiment action space, MT-pi completes tasks with high success given just minutes of human video and limited additional robot demonstrations. At test time, we predict motion tracks from two camera views, recovering 6DoF trajectories via multi-view synthesis. MT-pi achieves an average success rate of 86.5% across 4 real-world tasks, outperforming state-of-the-art IL baselines which do not leverage human data or our action space by 40%, and generalizes to scenarios seen only in human videos. Code and videos are available on our website https://portal-cornell.github.io/motion_track_policy/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google