Enhancing Robot Learning through Learned Human-Attention Feature Maps

要約

堅牢かつ効率的な学習は、ロボット工学、特に複雑な視覚入力の場合、依然として困難な問題です。
複雑な視覚シーンを迅速に処理し、環境の変化に反応する人間の注意メカニズムにヒントを得て、焦点に関する補助情報をロボット学習に埋め込むことで、学習プロセスの効率と堅牢性が向上すると考えています。
この論文では、近似予測モデルを使用して人間の注意をモデル化およびエミュレートする新しいアプローチを提案します。
次に、この出力を活用し、構造化された補助特徴マップとして下流の学習タスクにフィードします。
私たちは、現実世界での手動運転の人間の視線記録から予測モデルを学習することで、このアイデアを検証します。
物体検出と模倣学習という 2 つの学習タスクでアプローチをテストします。
私たちの実験は、予測された人間の注意を含めることで、分布外のサンプルに対するトレーニング済みモデルの堅牢性が向上し、低データ領域設定での学習が高速化されることを示しています。
私たちの研究は、ロボット工学の表現学習に構造化された補助情報を組み込む可能性を強調し、この方向の研究に新たな道を切り開きます。
すべてのコードとデータはオンラインで入手できます。

要約(オリジナル)

Robust and efficient learning remains a challenging problem in robotics, in particular with complex visual inputs. Inspired by human attention mechanism, with which we quickly process complex visual scenes and react to changes in the environment, we think that embedding auxiliary information about focus point into robot learning would enhance efficiency and robustness of the learning process. In this paper, we propose a novel approach to model and emulate the human attention with an approximate prediction model. We then leverage this output and feed it as a structured auxiliary feature map into downstream learning tasks. We validate this idea by learning a prediction model from human-gaze recordings of manual driving in the real world. We test our approach on two learning tasks – object detection and imitation learning. Our experiments demonstrate that the inclusion of predicted human attention leads to improved robustness of the trained models to out-of-distribution samples and faster learning in low-data regime settings. Our work highlights the potential of incorporating structured auxiliary information in representation learning for robotics and opens up new avenues for research in this direction. All code and data are available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google