Gaze-Guided Task Decomposition for Imitation Learning in Robotic Manipulation

要約

ロボット操作のための模倣学習では、オブジェクト操作タスクをサブタスクに分解することにより、実証された動きを単に複製するのではなく、学習スキルの再利用と学習行動の組み合わせが新しいタスクを実行することができます。
人間の視線は、オブジェクトの操作中の手の動きに密接に関連しています。
模倣エージェントの視線制御が特定のランドマークに固定され、それらの間の移行が固定され、同時にセグメントがサブタスクへの操作を実証したと仮定します。
この研究では、視線遷移に基づいたシンプルで堅牢なタス​​ク分解方法を提案しています。
テレ操作を使用して、デモンストレーションを収集するためのロボット操作における一般的なモダリティであり、そこでは人間のオペレーターの視線が測定され、模倣エージェントの視線の代替としてタスク分解に使用されます。
私たちのアプローチは、各タスクのすべてのデモンストレーションにわたって一貫したタスク分解を保証します。これは、機械学習などのコンテキストで望ましいものです。
さまざまなタスクのデモンストレーション全体で方法を評価し、結果のサブタスクの特性と一貫性を評価しました。
さらに、異なるハイパーパラメーター設定にわたる広範なテストにより、その堅牢性が確認され、多様なロボットシステムに適応できます。
私たちのコードは、https：//github.com/crumbyrobotics/gazetaskdecompで入手できます。

要約(オリジナル)

In imitation learning for robotic manipulation, decomposing object manipulation tasks into sub-tasks enables the reuse of learned skills and the combination of learned behaviors to perform novel tasks, rather than simply replicating demonstrated motions. Human gaze is closely linked to hand movements during object manipulation. We hypothesize that an imitating agent’s gaze control, fixating on specific landmarks and transitioning between them, simultaneously segments demonstrated manipulations into sub-tasks. This study proposes a simple yet robust task decomposition method based on gaze transitions. Using teleoperation, a common modality in robotic manipulation for collecting demonstrations, in which a human operator’s gaze is measured and used for task decomposition as a substitute for an imitating agent’s gaze. Our approach ensures consistent task decomposition across all demonstrations for each task, which is desirable in contexts such as machine learning. We evaluated the method across demonstrations of various tasks, assessing the characteristics and consistency of the resulting sub-tasks. Furthermore, extensive testing across different hyperparameter settings confirmed its robustness, making it adaptable to diverse robotic systems. Our code is available at https://github.com/crumbyRobotics/GazeTaskDecomp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google