Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

要約

我々は、多様な操作スキルのレパートリーを介して、一般的な未知のオブジェクトとゼロショットで対話できるロボットを開発するという目標を追求し、受動的な人間の動画が、そのような汎化ロボットを学習するための豊富なデータ源としてどのように機能するかを示す。ロボットがどのように行動すべきかをインタラクションデータから直接学習する典型的なロボット学習アプローチとは異なり、我々は、大規模な人間のビデオを活用して、人間がどのように所望のタスク（ヒューマンプラン）を達成するかを学習し、その後、このプランをロボットの体現に変換する因数分解アプローチを採用する。具体的には、シーンの現在の画像とゴール画像が与えられたときに、将来の手と物体の配置を予測するヒューマンプラン予測器を学習する。我々はこれを、計画条件付きロボット操作ポリシーを学習する翻訳モジュールと組み合わせることで、展開時間の訓練なしに、ゼロショットで一般的な操作タスクのための人間の計画に従うことを可能にする。重要な点は、プラン予測器が大規模な人間のビデオを学習に活用できるのに対し、翻訳モジュールは少量の領域内データしか必要とせず、訓練中に見られなかったタスクにも汎化できることである。我々は、学習されたシステムが、40のオブジェクトに汎化された16以上の操作スキルを実行できることを示す。これは、卓上操作と多様な実世界操作のための100の実世界タスクを包含する。https://homangab.github.io/hopman/

要約(オリジナル)

We pursue the goal of developing robots that can interact zero-shot with generic unseen objects via a diverse repertoire of manipulation skills and show how passive human videos can serve as a rich source of data for learning such generalist robots. Unlike typical robot learning approaches which directly learn how a robot should act from interaction data, we adopt a factorized approach that can leverage large-scale human videos to learn how a human would accomplish a desired task (a human plan), followed by translating this plan to the robots embodiment. Specifically, we learn a human plan predictor that, given a current image of a scene and a goal image, predicts the future hand and object configurations. We combine this with a translation module that learns a plan-conditioned robot manipulation policy, and allows following humans plans for generic manipulation tasks in a zero-shot manner with no deployment-time training. Importantly, while the plan predictor can leverage large-scale human videos for learning, the translation module only requires a small amount of in-domain data, and can generalize to tasks not seen during training. We show that our learned system can perform over 16 manipulation skills that generalize to 40 objects, encompassing 100 real-world tasks for table-top manipulation and diverse in-the-wild manipulation. https://homangab.github.io/hopman/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL