Where Do We Look When We Teach? Analyzing Human Gaze Behavior Across Demonstration Devices in Robot Imitation Learning

要約

一般化可能なポリシーを取得するための模倣学習には、多くの場合、大量のデモデータが必要であり、プロセスを大幅にコストにします。
この課題に対処するための有望な戦略の1つは、特に彼らの視線行動からタスクに関連する手がかりを抽出することにより、強力な一般化能力を持つ人間のデモンストレーターの認知的および意思決定スキルを活用することです。
ただし、模倣学習には、通常、ロボットの具体化と視覚条件をエミュレートするデモンストレーションデバイスを使用して、人間がデータを収集することが含まれます。
これは、そのようなデバイスが視線の動作にどのように影響するかという問題を提起します。
デモ隊の視線を体系的に分析する実験的なフレームワークを提案します。
私たちの実験結果は、（1）ロボットの具体化または（2）視覚条件をエミュレートするデバイスが、エミュレーションの程度に応じて障害の程度で、視線に関連するキューを視聴する能力を抽出するデモ隊の能力を損なうことを示しています。
さらに、自然な人間の行動をキャプチャするデバイスを使用して収集された視線データは、環境シフトでポリシーのタスクの成功率を18.8％から68.8％に改善します。

要約(オリジナル)

Imitation learning for acquiring generalizable policies often requires a large volume of demonstration data, making the process significantly costly. One promising strategy to address this challenge is to leverage the cognitive and decision-making skills of human demonstrators with strong generalization capability, particularly by extracting task-relevant cues from their gaze behavior. However, imitation learning typically involves humans collecting data using demonstration devices that emulate a robot’s embodiment and visual condition. This raises the question of how such devices influence gaze behavior. We propose an experimental framework that systematically analyzes demonstrators’ gaze behavior across a spectrum of demonstration devices. Our experimental results indicate that devices emulating (1) a robot’s embodiment or (2) visual condition impair demonstrators’ capability to extract task-relevant cues via gaze behavior, with the extent of impairment depending on the degree of emulation. Additionally, gaze data collected using devices that capture natural human behavior improves the policy’s task success rate from 18.8% to 68.8% under environmental shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google