A Survey of Demonstration Learning

要約

機械学習の急速な進歩により、強化学習 (RL) がさまざまな分野で人間のタスクを自動化するために使用されています。
ただし、そのようなエージェントのトレーニングは難しく、専門家のユーザーに限定されます。
さらに、現実世界での相互作用のコストと安全性の懸念から、ほとんどがシミュレーション環境に限定されています。
デモンストレーション学習は、エージェントがデモンストレーションで示された専門家の行動を模倣することによってタスクを実行することを学習するパラダイムです。
これは機械学習では比較的最近の領域ですが、デモから複雑な動作を学習する可能性が非常に高いため、大きな注目を集めています。
デモンストレーションから学習すると、サンプルの効率が向上するため、学習プロセスが加速すると同時に、プログラマーの労力も軽減されます。
環境と対話せずに学習するため、デモンストレーション学習により、ロボット工学やヘルスケアなどの幅広い現実世界のアプリケーションの自動化が可能になります。
このホワイト ペーパーでは、実証学習の概説を提供します。ここでは、実証問題とその主な課題を正式に紹介し、実証データ セットの作成から、実証からの学習方法、および最適化まで、実証から学習するプロセスの包括的な概要を提供します。
デモンストレーション学習をさまざまな機械学習手法と組み合わせることによって。
また、既存のベンチマークを確認し、その長所と短所を特定します。
さらに、パラダイムの長所と短所、およびその主なアプリケーションについて説明します。
最後に、この急速に成長している分野の未解決の問題と研究の方向性に関する私たちの見解について説明します。

要約(オリジナル)

With the fast improvement of machine learning, reinforcement learning (RL) has been used to automate human tasks in different areas. However, training such agents is difficult and restricted to expert users. Moreover, it is mostly limited to simulation environments due to the high cost and safety concerns of interactions in the real world. Demonstration Learning is a paradigm in which an agent learns to perform a task by imitating the behavior of an expert shown in demonstrations. It is a relatively recent area in machine learning, but it is gaining significant traction due to having tremendous potential for learning complex behaviors from demonstrations. Learning from demonstration accelerates the learning process by improving sample efficiency, while also reducing the effort of the programmer. Due to learning without interacting with the environment, demonstration learning would allow the automation of a wide range of real world applications such as robotics and healthcare. This paper provides a survey of demonstration learning, where we formally introduce the demonstration problem along with its main challenges and provide a comprehensive overview of the process of learning from demonstrations from the creation of the demonstration data set, to learning methods from demonstrations, and optimization by combining demonstration learning with different machine learning methods. We also review the existing benchmarks and identify their strengths and limitations. Additionally, we discuss the advantages and disadvantages of the paradigm as well as its main applications. Lastly, we discuss our perspective on open problems and research directions for this rapidly growing field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google