Unsupervised Representation Learning in Deep Reinforcement Learning: A Review

要約

このレビューでは、深層強化学習 (DRL) のコンテキストで測定データの抽象表現を学習する問題に対処します。
データは多くの場合、曖昧で、高次元で、解釈が複雑ですが、多くの動的システムは、低次元の状態変数のセットによって効果的に記述できます。
データからこれらの状態変数を発見することは、(i) データ効率、堅牢性、および DRL 手法の一般化を改善すること、(ii) 次元性の呪いに取り組むこと、(iii) ブラックボックス DRL に解釈可能性と洞察をもたらすことにとって重要な側面です。
。
このレビューでは、世界の表現を学習するために使用される主なディープ ラーニング ツールを説明し、方法と原理の体系的なビューを提供し、アプリケーション、ベンチマーク、評価戦略を要約し、オープンな表現について議論することにより、DRL における教師なし表現学習の包括的かつ完全な概要を提供します。
課題と今後の方向性。

要約(オリジナル)

This review addresses the problem of learning abstract representations of the measurement data in the context of Deep Reinforcement Learning (DRL). While the data are often ambiguous, high-dimensional, and complex to interpret, many dynamical systems can be effectively described by a low-dimensional set of state variables. Discovering these state variables from the data is a crucial aspect for (i) improving the data efficiency, robustness, and generalization of DRL methods, (ii) tackling the curse of dimensionality, and (iii) bringing interpretability and insights into black-box DRL. This review provides a comprehensive and complete overview of unsupervised representation learning in DRL by describing the main Deep Learning tools used for learning representations of the world, providing a systematic view of the method and principles, summarizing applications, benchmarks and evaluation strategies, and discussing open challenges and future directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google