Gaze-based Task Decomposition for Robot Manipulation in Imitation Learning

要約

ロボット操作の模倣学習では、物体操作タスクを複数のサブタスクに分解することが不可欠である。この分解により、学習したスキルを様々な文脈で再利用したり、習得したスキルを組み合わせて新しいタスクを実行したりすることが可能になる。視線は人間の物体操作において重要な役割を果たし、手の動きと強い相関がある。我々は、模倣エージェントの視線制御が、特定のランドマークを注視し、ランドマーク間を遷移することで、実演された操作を同時にサブタスクに分割すると仮定する。本研究では、視線遷移に基づく単純かつ頑健なタスク分割法を提案する。この方法は、実演を収集するためのロボット操作において一般的なモダリティである遠隔操作を活用し、人間のオペレータの視線を計測し、模倣エージェントの視線の代替としてタスク分解に利用する。本手法は、各タスクのすべてのデモにおいて一貫したタスク分解を実現し、機械学習のような文脈において望ましい。我々はこの方法を様々なタスクの実演に適用し、得られたサブタスクの特徴と一貫性を評価した。さらに、広範囲のハイパーパラメータの変化に対する広範なテストを通じて、提案手法が、様々なロボットシステムへの適用に必要なロバスト性を有することを実証した。

要約(オリジナル)

In imitation learning for robotic manipulation, decomposing object manipulation tasks into multiple sub-tasks is essential. This decomposition enables the reuse of learned skills in varying contexts and the combination of acquired skills to perform novel tasks, rather than merely replicating demonstrated motions. Gaze plays a critical role in human object manipulation, where it is strongly correlated with hand movements. We hypothesize that an imitating agent’s gaze control, fixating on specific landmarks and transitioning between them, simultaneously segments demonstrated manipulations into sub-tasks. In this study, we propose a simple yet robust task decomposition method based on gaze transitions. The method leverages teleoperation, a common modality in robotic manipulation for collecting demonstrations, in which a human operator’s gaze is measured and used for task decomposition as a substitute for an imitating agent’s gaze. Notably, our method achieves consistent task decomposition across all demonstrations for each task, which is desirable in contexts such as machine learning. We applied this method to demonstrations of various tasks and evaluated the characteristics and consistency of the resulting sub-tasks. Furthermore, through extensive testing across a wide range of hyperparameter variations, we demonstrated that the proposed method possesses the robustness necessary for application to different robotic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL