Multi-task robot data for dual-arm fine manipulation

要約

ロボット操作の分野では、深層模倣学習は操作スキルを習得するための有望なアプローチとして認識されています。
さらに、多様なロボット データセットから学習することは、汎用性と適応性を実現するための実行可能な方法であると考えられています。
このような研究では、ロボットはさまざまなタスクを学習することで、複数のオブジェクトにわたる汎用性を実現しました。
ただし、このようなマルチタスク ロボットのデータセットは主に、比較的不正確なシングルアーム タスクに焦点を当てており、現実世界でロボットが実行することが期待されるきめ細かいオブジェクト操作には対応していません。
この論文では、双腕タスクや微細な操作を必要とするタスクを含む、多様なオブジェクト操作のデータセットを紹介します。
この目的を達成するために、ボウルを動かす、筆箱を開ける、バナナの皮をむくなどの双腕を使った細かい作業を含む 224,000 のエピソード (150 時間、1,104 の言語指示) を含むデータセットを生成しました。このデータは一般公開されています。
さらに、このデータセットには、視覚的注意信号に加えて、アクションを堅牢な到達軌跡とオブジェクトとの正確な相互作用に分離する信号であるデュアル アクション ラベル、および堅牢で正確なオブジェクト操作を実現するための言語命令が含まれています。
私たちはこのデータセットをデュアル アクション アンド アテンション (DAA) に適用しました。このモデルは、きめの細かいデュアル アーム操作タスク用に設計され、共変量シフトに対して堅牢なモデルです。
このモデルは実際のロボット操作タスクで合計 7,000 回以上の試行でテストされ、微細な操作におけるその能力が実証されました。

要約(オリジナル)

In the field of robotic manipulation, deep imitation learning is recognized as a promising approach for acquiring manipulation skills. Additionally, learning from diverse robot datasets is considered a viable method to achieve versatility and adaptability. In such research, by learning various tasks, robots achieved generality across multiple objects. However, such multi-task robot datasets have mainly focused on single-arm tasks that are relatively imprecise, not addressing the fine-grained object manipulation that robots are expected to perform in the real world. This paper introduces a dataset of diverse object manipulations that includes dual-arm tasks and/or tasks requiring fine manipulation. To this end, we have generated dataset with 224k episodes (150 hours, 1,104 language instructions) which includes dual-arm fine tasks such as bowl-moving, pencil-case opening or banana-peeling, and this data is publicly available. Additionally, this dataset includes visual attention signals as well as dual-action labels, a signal that separates actions into a robust reaching trajectory and precise interaction with objects, and language instructions to achieve robust and precise object manipulation. We applied the dataset to our Dual-Action and Attention (DAA), a model designed for fine-grained dual arm manipulation tasks and robust against covariate shifts. The model was tested with over 7k total trials in real robot manipulation tasks, demonstrating its capability in fine manipulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google