Object-centric 3D Motion Field for Robot Learning from Human Videos

要約

人間の映像からロボットの制御方針を学習することは、ロボット学習のスケールアップのための有望な方向性である。しかし、どのように動画から行動知識（または行動表現）を抽出して学習するかが重要な課題として残っている。ビデオフレーム、ピクセルフロー、ポイントクラウドフローなどの既存の行動表現には、モデルの複雑さや情報の損失などの固有の限界がある。本論文では、人間の動画からロボットが学習するために、物体中心の3次元運動場を用いて行動を表現することを提案し、ゼロショット制御のために動画からこの表現を抽出するための新しいフレームワークを提示する。その実装において、2つの新しい構成要素を導入する。第一に、ノイズの多い奥行きのある人間の映像から細かいオブジェクトの3Dモーションをロバストに抽出するための”ノイズ除去”3Dモーションフィールド推定器を訓練するための新しい訓練パイプラインである。第二に、エンボディメント間の伝達と背景に対するポリシーの汎化の両方に有利な、高密度なオブジェクト中心の3D運動場予測アーキテクチャである。実世界のセットアップでシステムを評価する。実験により、本手法が最新の手法と比較して、3D運動推定誤差を50％以上削減し、先行アプローチが失敗する多様なタスクで平均成功率55％を達成し、挿入のような細かい操作スキルも獲得できる。

要約(オリジナル)

Learning robot control policies from human videos is a promising direction for scaling up robot learning. However, how to extract action knowledge (or action representations) from videos for policy learning remains a key challenge. Existing action representations such as video frames, pixelflow, and pointcloud flow have inherent limitations such as modeling complexity or loss of information. In this paper, we propose to use object-centric 3D motion field to represent actions for robot learning from human videos, and present a novel framework for extracting this representation from videos for zero-shot control. We introduce two novel components in its implementation. First, a novel training pipeline for training a ”denoising” 3D motion field estimator to extract fine object 3D motions from human videos with noisy depth robustly. Second, a dense object-centric 3D motion field prediction architecture that favors both cross-embodiment transfer and policy generalization to background. We evaluate the system in real world setups. Experiments show that our method reduces 3D motion estimation error by over 50% compared to the latest method, achieve 55% average success rate in diverse tasks where prior approaches fail~($\lesssim 10$\%), and can even acquire fine-grained manipulation skills like insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL