Enhancing Reusability of Learned Skills for Robot Manipulation via Gaze and Bottleneck

要約

多様なオブジェクト操作が可能な自律エージェントは、高い再利用性を備えた幅広い操作スキルを習得できるはずです。
深い学習の進歩により、ロボットの人間の操作の器用さを再現することがますます実行可能になりましたが、これらの獲得したスキルを以前に見えなかったシナリオに一般化することは依然として重要な課題です。
この研究では、オブジェクトの位置とエンドエフェクターのポーズが提供されたデモンストレーションのものとは異なる場合でも、学習された動きの高い再利用性を可能にする、新しいアルゴリズムである視線ベースのボトルネックを意識したロボット操作（GazeBot）を提案します。
視線情報とモーションボトルネックを活用することにより、両方ともオブジェクト操作のための重要な機能の両方で、Gazebotは、その器用さと反応性を犠牲にすることなく、最先端の模倣学習方法と比較して高い一般化パフォーマンスを実現します。
さらに、GazeBotのトレーニングプロセスは、視線データを備えたデモデータセットが提供されると、完全にデータ駆動型です。
ビデオとコードは、https：//crumbyrobotics.github.io/gazebotで入手できます。

要約(オリジナル)

Autonomous agents capable of diverse object manipulations should be able to acquire a wide range of manipulation skills with high reusability. Although advances in deep learning have made it increasingly feasible to replicate the dexterity of human teleoperation in robots, generalizing these acquired skills to previously unseen scenarios remains a significant challenge. In this study, we propose a novel algorithm, Gaze-based Bottleneck-aware Robot Manipulation (GazeBot), which enables high reusability of the learned motions even when the object positions and end-effector poses differ from those in the provided demonstrations. By leveraging gaze information and motion bottlenecks, both crucial features for object manipulation, GazeBot achieves high generalization performance compared with state-of-the-art imitation learning methods, without sacrificing its dexterity and reactivity. Furthermore, the training process of GazeBot is entirely data-driven once a demonstration dataset with gaze data is provided. Videos and code are available at https://crumbyrobotics.github.io/gazebot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google