Visual Imitation Enables Contextual Humanoid Control

要約

ヒューマノイドに階段を登り、周囲の環境のコンテキストを使用して椅子に座るように教えてください。
間違いなく、最も簡単な方法は、それらを単に人間のモーションビデオをキャプチャして、ヒューマノイドに供給することです。
VideMimicを紹介します。これは、毎日のビデオを採掘し、人間と環境を共同で再構築し、対応するスキルを実行するヒューマノイドロボットの全身制御ポリシーを作成する本物のパイプラインを紹介します。
実際のヒューマノイドロボットでのパイプラインの結果を示し、階段の上昇や下降剤、椅子やベンチからの座って立っているなどの堅牢で再現可能なコンテキスト制御、および環境とグローバルルートコマンドを条件付けられた単一のポリシーからの他のダイナミックな全身スキルを示しています。
VideMimicは、多様な現実世界環境で動作するためにヒューマノイドを教えるためのスケーラブルなパスを提供します。

要約(オリジナル)

How can we teach humanoids to climb staircases and sit on chairs using the surrounding environment context? Arguably, the simplest way is to just show them-casually capture a human motion video and feed it to humanoids. We introduce VIDEOMIMIC, a real-to-sim-to-real pipeline that mines everyday videos, jointly reconstructs the humans and the environment, and produces whole-body control policies for humanoid robots that perform the corresponding skills. We demonstrate the results of our pipeline on real humanoid robots, showing robust, repeatable contextual control such as staircase ascents and descents, sitting and standing from chairs and benches, as well as other dynamic whole-body skills-all from a single policy, conditioned on the environment and global root commands. VIDEOMIMIC offers a scalable path towards teaching humanoids to operate in diverse real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google