Humanoid Policy ~ Human Policy

要約

さまざまなデータを使用したヒューマノイドロボットのトレーニング操作ポリシーは、タスクとプラットフォーム全体でその堅牢性と一般化を強化します。
ただし、ロボットデモンストレーションのみから学習することは労働集約的であり、拡張が困難な高価なテレ操作データ収集が必要です。
このペーパーでは、よりスケーラブルなデータソースであるエゴセントリックな人間のデモを調査して、ロボット学習のための交差層間トレーニングデータとして機能します。
データとモデリングの視点の両方から、ヒューマノイドとヒトの間の具体化のギャップを緩和します。
ヒューマノイド操作のデモと直接整合するエゴセントリックタスク指向のデータセット（PH2D）を収集します。
次に、人間のアクショントランス（HAT）と呼ばれる人間のヒューマノイド行動ポリシーを訓練します。
帽子の状態空間は、人間とヒューマノイドの両方のロボットの両方で統一されており、ロボットアクションに異なるリターゲットになる可能性があります。
小規模なロボットデータと共同訓練されたHat Hatは、ヒューマノイドロボットと人間を追加の監督なしで異なる実施形態として直接モデル化します。
人間のデータが、データ収集の効率が大幅に向上し、帽子の一般化と堅牢性の両方を改善することを示しています。
コードとデータ：https：//human-as-robot.github.io/

要約(オリジナル)

Training manipulation policies for humanoid robots with diverse data enhances their robustness and generalization across tasks and platforms. However, learning solely from robot demonstrations is labor-intensive, requiring expensive tele-operated data collection which is difficult to scale. This paper investigates a more scalable data source, egocentric human demonstrations, to serve as cross-embodiment training data for robot learning. We mitigate the embodiment gap between humanoids and humans from both the data and modeling perspectives. We collect an egocentric task-oriented dataset (PH2D) that is directly aligned with humanoid manipulation demonstrations. We then train a human-humanoid behavior policy, which we term Human Action Transformer (HAT). The state-action space of HAT is unified for both humans and humanoid robots and can be differentiably retargeted to robot actions. Co-trained with smaller-scale robot data, HAT directly models humanoid robots and humans as different embodiments without additional supervision. We show that human data improves both generalization and robustness of HAT with significantly better data collection efficiency. Code and data: https://human-as-robot.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google