Examining Policy Entropy of Reinforcement Learning Agents for Personalization Tasks

要約

この取り組みは、パーソナライゼーション環境における強化学習システムの動作を調査し、利用される学習アルゴリズムの種類に関連するポリシー エントロピーの違いを詳しく説明することに焦点を当てています。
私たちは、ポリシー最適化エージェントがトレーニング中に低エントロピー ポリシーを所有していることが多く、実際にはエージェントが特定のアクションを優先し、他のアクションを回避する結果となることを示します。
逆に、Q 学習エージェントはそのような動作の影響をはるかに受けにくく、一般にトレーニング全体を通じて高エントロピー ポリシーを維持します。これは、現実世界のアプリケーションでは多くの場合好ましいことです。
私たちは、エントロピーのこれらの違いが使用されている学習の種類によるものであることを示すために、理論的根拠だけでなく幅広い数値実験を提供します。

要約(オリジナル)

This effort is focused on examining the behavior of reinforcement learning systems in personalization environments and detailing the differences in policy entropy associated with the type of learning algorithm utilized. We demonstrate that Policy Optimization agents often possess low-entropy policies during training, which in practice results in agents prioritizing certain actions and avoiding others. Conversely, we also show that Q-Learning agents are far less susceptible to such behavior and generally maintain high-entropy policies throughout training, which is often preferable in real-world applications. We provide a wide range of numerical experiments as well as theoretical justification to show that these differences in entropy are due to the type of learning being employed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google