Flow as the Cross-Domain Manipulation Interface

要約

Im2Flow2Actは、実世界のロボット訓練データを必要とせずに、ロボットが実世界の操作スキルを習得することを可能にするスケーラブルな学習フレームワークである。Im2Flow2Actのキーとなるアイデアは、物体フローを操作インターフェースとして使用することであり、異なる実施形態（すなわち、人間とロボット）と訓練環境（すなわち、実世界とシミュレーション）の間のドメインギャップを埋めることである。Im2Flow2Actは、フロー生成ネットワークとフロー条件付きポリシーの2つのコンポーネントから構成される。フロー生成ネットワークは、人間のデモンストレーションビデオで学習され、タスク記述に条件付けされた最初のシーン画像からオブジェクトフローを生成する。フロー条件付きポリシーは、シミュレーションされたロボットのプレイデータで学習され、生成されたオブジェクトフローをロボットのアクションにマッピングし、所望のオブジェクトの動きを実現する。フローを入力として使用することで、このポリシーは、シムからリアルへのギャップを最小限に抑えながら、実世界に直接展開することができる。実世界の人間の映像とシミュレートされたロボットのプレイデータを活用することで、実世界における物理ロボットの遠隔操作の課題を回避し、多様なタスクに対応するスケーラブルなシステムを実現する。Im2Flow2Actの能力を、剛体、多関節、変形可能な物体の操作を含む様々な実世界タスクで実証する。

要約(オリジナル)

We present Im2Flow2Act, a scalable learning framework that enables robots to acquire real-world manipulation skills without the need of real-world robot training data. The key idea behind Im2Flow2Act is to use object flow as the manipulation interface, bridging domain gaps between different embodiments (i.e., human and robot) and training environments (i.e., real-world and simulated). Im2Flow2Act comprises two components: a flow generation network and a flow-conditioned policy. The flow generation network, trained on human demonstration videos, generates object flow from the initial scene image, conditioned on the task description. The flow-conditioned policy, trained on simulated robot play data, maps the generated object flow to robot actions to realize the desired object movements. By using flow as input, this policy can be directly deployed in the real world with a minimal sim-to-real gap. By leveraging real-world human videos and simulated robot play data, we bypass the challenges of teleoperating physical robots in the real world, resulting in a scalable system for diverse tasks. We demonstrate Im2Flow2Act’s capabilities in a variety of real-world tasks, including the manipulation of rigid, articulated, and deformable objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL