Flow as the Cross-Domain Manipulation Interface

要約

ロボットがさまざまなデータ ソースから操作スキルを習得できるようにするスケーラブルな学習フレームワークである Im2Flow2Act を紹介します。
Im2Flow2Act の背後にある重要なアイデアは、オブジェクト フローを操作インターフェイスとして使用し、さまざまな実施形態 (つまり、人間とロボット) とトレーニング環境 (つまり、現実世界とシミュレート) の間の領域のギャップを埋めることです。
Im2Flow2Act は、フロー生成ネットワークとフロー条件付きポリシーの 2 つのコンポーネントで構成されます。
人間のデモンストレーション ビデオでトレーニングされたフロー生成ネットワークは、タスクの説明に基づいて、最初のシーン画像からオブジェクト フローを生成します。
シミュレーションされたロボットのプレイ データでトレーニングされたフロー条件付きポリシーは、生成されたオブジェクト フローをロボットのアクションにマッピングして、目的のオブジェクトの動きを実現します。
フローを入力として使用することにより、このポリシーはシミュレーションと現実のギャップを最小限に抑えて現実世界に直接展開できます。
現実世界の人間のビデオとシミュレートされたロボットのプレイ データを活用することで、現実世界で物理ロボットを遠隔操作する際の課題を回避し、その結果、多様なタスクに対応するスケーラブルなシステムが実現します。
剛体、多関節、変形可能なオブジェクトの操作など、現実世界のさまざまなタスクにおける Im2Flow2Act の機能を実証します。

要約(オリジナル)

We present Im2Flow2Act, a scalable learning framework that enables robots to acquire manipulation skills from diverse data sources. The key idea behind Im2Flow2Act is to use object flow as the manipulation interface, bridging domain gaps between different embodiments (i.e., human and robot) and training environments (i.e., real-world and simulated). Im2Flow2Act comprises two components: a flow generation network and a flow-conditioned policy. The flow generation network, trained on human demonstration videos, generates object flow from the initial scene image, conditioned on the task description. The flow-conditioned policy, trained on simulated robot play data, maps the generated object flow to robot actions to realize the desired object movements. By using flow as input, this policy can be directly deployed in the real world with a minimal sim-to-real gap. By leveraging real-world human videos and simulated robot play data, we bypass the challenges of teleoperating physical robots in the real world, resulting in a scalable system for diverse tasks. We demonstrate Im2Flow2Act’s capabilities in a variety of real-world tasks, including the manipulation of rigid, articulated, and deformable objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google