Investigating the Impact of Action Representations in Policy Gradient Algorithms

要約

強化学習~(RL) は、現実世界の複雑なタスクを解決する方法を学習するための多用途のフレームワークです。
ただし、RL アルゴリズムの学習パフォーマンスへの影響は、実際にはほとんど理解されていないことがよくあります。
さまざまな分析手法について説明し、RL におけるアクション表現の影響を調査するためのその有効性を評価します。
私たちの実験は、アクション表現が一般的な RL ベンチマーク タスクの学習パフォーマンスに大きな影響を与える可能性があることを示しています。
分析結果は、パフォーマンスの違いの一部は、最適化環境の複雑さの変化に起因する可能性があることを示しています。
最後に、RL アルゴリズムの分析技術の未解決の課題について説明します。

要約(オリジナル)

Reinforcement learning~(RL) is a versatile framework for learning to solve complex real-world tasks. However, influences on the learning performance of RL algorithms are often poorly understood in practice. We discuss different analysis techniques and assess their effectiveness for investigating the impact of action representations in RL. Our experiments demonstrate that the action representation can significantly influence the learning performance on popular RL benchmark tasks. The analysis results indicate that some of the performance differences can be attributed to changes in the complexity of the optimization landscape. Finally, we discuss open challenges of analysis techniques for RL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google