Imitation Learning: A Survey of Learning Methods, Environments and Metrics

要約

模倣学習は、エージェントが 1 人以上の教師がタスクを実行する方法を模倣することによって、タスクの実行方法を学習するアプローチです。
この学習アプローチでは、新しいタスクの学習にかかる時間と、エージェントの教師サンプルを収集するのに必要な労力との間の妥協点が得られます。
これは、タスクの実行方法に関する情報を持っている教師からの学習と、教師のサンプルに存在しない状態など、必要に応じて教師の例から逸脱することのバランスを取ることで実現されます。
その結果、模倣学習の分野は近年研究者から大きな注目を集めており、多くの新しい方法や応用が生まれています。
しかし、このように出版された研究や主に方法論に焦点を当てた過去の調査が増加するにつれ、この分野における標準化の欠如がより顕著になってきました。
この非標準化は、わずか 2 つの作品に登場する環境の使用や、現在の文献ではまれになった定性分析などの評価プロセスに明らかです。
この調査では、現在の模倣学習の文献を系統的にレビューし、(i) 新しい分類法を導入して模倣学習のテクニック、環境、指標を分類することにより、その結果を提示します。
(ii) 文献から主な問題を考察する。
(iii) 研究者に課題と将来の方向性を提示する。

要約(オリジナル)

Imitation learning is an approach in which an agent learns how to execute a task by trying to mimic how one or more teachers perform it. This learning approach offers a compromise between the time it takes to learn a new task and the effort needed to collect teacher samples for the agent. It achieves this by balancing learning from the teacher, who has some information on how to perform the task, and deviating from their examples when necessary, such as states not present in the teacher samples. Consequently, the field of imitation learning has received much attention from researchers in recent years, resulting in many new methods and applications. However, with this increase in published work and past surveys focusing mainly on methodology, a lack of standardisation became more prominent in the field. This non-standardisation is evident in the use of environments, which appear in no more than two works, and evaluation processes, such as qualitative analysis, that have become rare in current literature. In this survey, we systematically review current imitation learning literature and present our findings by (i) classifying imitation learning techniques, environments and metrics by introducing novel taxonomies; (ii) reflecting on main problems from the literature; and (iii) presenting challenges and future directions for researchers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google