RoboAgent: Generalization and Efficiency in Robot Manipulation via Semantic Augmentations and Action Chunking

要約

さまざまな環境で任意のオブジェクトを操作できる単一のロボットを実現するという壮大な目標は、ロボット工学のデータセットの不足とは相容れません。
このようなデータセットの取得と拡張は、手作業、運用コスト、安​​全性の課題により大変な労力を要します。
このような万能エージェントへの道には、広範な一般化が可能でありながら、妥当なデータ予算内でトレーニングできる構造化されたフレームワークが必要です。
この論文では、(a) 既存のデータセットを迅速に増やすことができるセマンティック拡張と、(b) 小さくても多様なパフォーマンスのポリシーを抽出できるアクション表現を使用して、マルチタスク操作スキルが可能なユニバーサル エージェントをトレーニングするための効率的なシステム (RoboAgent) を開発します。
過学習のないマルチモーダル データセット。
さらに、信頼性の高いタスク条件付けと表現力豊かなポリシー アーキテクチャにより、エージェントは言語コマンドを使用して指定された新しい状況でさまざまなスキルのレパートリーを発揮できます。
わずか 7500 件のデモンストレーションを使用して、12 の固有のスキルを実行できる単一のエージェントをトレーニングし、さまざまなキッチン シーンでの一般的な日常活動にまたがる 38 のタスクにわたる一般化をデモンストレーションすることができます。
平均して、RoboAgent は、目に見えない状況において従来の方法よりも 40% 以上優れたパフォーマンスを示し、さらにサンプル効率が高く、微調整による機能の改善と拡張に柔軟に対応します。
ビデオは https://robopen.github.io/ にあります

要約(オリジナル)

The grand aim of having a single robot that can manipulate arbitrary objects in diverse settings is at odds with the paucity of robotics datasets. Acquiring and growing such datasets is strenuous due to manual efforts, operational costs, and safety challenges. A path toward such an universal agent would require a structured framework capable of wide generalization but trained within a reasonable data budget. In this paper, we develop an efficient system (RoboAgent) for training universal agents capable of multi-task manipulation skills using (a) semantic augmentations that can rapidly multiply existing datasets and (b) action representations that can extract performant policies with small yet diverse multi-modal datasets without overfitting. In addition, reliable task conditioning and an expressive policy architecture enable our agent to exhibit a diverse repertoire of skills in novel situations specified using language commands. Using merely 7500 demonstrations, we are able to train a single agent capable of 12 unique skills, and demonstrate its generalization over 38 tasks spread across common daily activities in diverse kitchen scenes. On average, RoboAgent outperforms prior methods by over 40% in unseen situations while being more sample efficient and being amenable to capability improvements and extensions through fine-tuning. Videos at https://robopen.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google