UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

要約

模倣は人間の基本的な学習メカニズムであり、個人が専門家を観察し模倣することで新しいタスクを学ぶことができます。
ただし、ロボットにこの能力を適用すると、視覚的外観と物理的能力の両方において、人間とロボットの実施形態の固有の違いがあるため、重要な課題があります。
以前の方法は、共有シーンやタスクを使用して交差体拡大データセットを使用してこのギャップを埋めますが、人間とロボットの間にこのような整合したデータを大規模に収集することは些細なことではありません。
このホワイトペーパーでは、ラベルなしで大規模なクロスエンボジメントビデオデータから具体化されたスキル表現を学習する新しいフレームワークであるUniskillを提案し、ヒューマンビデオプロンプトから抽出されたスキルを可能にし、ロボットデータでのみトレーニングされたロボットポリシーに効果的に転送できます。
シミュレーションと現実世界の両方の環境での実験は、目に見えないビデオプロンプトがあっても、適切なアクションの選択にロボットを採用することに成功していることを示しています。
プロジェクトのWebサイトは、https：//kimhanjung.github.io/uniskillにあります。

要約(オリジナル)

Mimicry is a fundamental learning mechanism in humans, enabling individuals to learn new tasks by observing and imitating experts. However, applying this ability to robots presents significant challenges due to the inherent differences between human and robot embodiments in both their visual appearance and physical capabilities. While previous methods bridge this gap using cross-embodiment datasets with shared scenes and tasks, collecting such aligned data between humans and robots at scale is not trivial. In this paper, we propose UniSkill, a novel framework that learns embodiment-agnostic skill representations from large-scale cross-embodiment video data without any labels, enabling skills extracted from human video prompts to effectively transfer to robot policies trained only on robot data. Our experiments in both simulation and real-world environments show that our cross-embodiment skills successfully guide robots in selecting appropriate actions, even with unseen video prompts. The project website can be found at: https://kimhanjung.github.io/UniSkill.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google