Taylor TD-learning

要約

多くの強化学習アプローチは、批評家を学習するために時間差分 (TD) 学習に依存しています。
ただし、TD 学習の更新には大きなばらつきが生じる可能性があります。
ここでは、連続的な状態アクション設定におけるこの差異を軽減する、モデルベースの RL フレームワークである Taylor TD を紹介します。
Taylor TD は、TD 更新の一次テイラー級数展開を使用します。
この拡張により、Taylor TD は、アクション選択における確率性と、各 TD 更新の初期状態とアクションの状態分布におけるある程度の確率性を分析的に統合することができます。
テイラー TD 更新が実際に標準の TD 更新よりも分散が低いという理論的および経験的証拠を含めます。
さらに、Taylor TD には、合理的な仮定の下で線形関数近似を使用した標準的な TD 学習と同じ安定した学習保証があることを示します。
次に、Taylor TD と TD3 アルゴリズムを組み合わせて、TaTD3 を形成します。
TaTD3 は、一連の標準ベンチマーク タスクにおいて、いくつかの最先端のモデルフリーおよびモデルベースのベースライン アルゴリズムよりも優れているとは言えないまでも、同様にパフォーマンスを発揮することを示しています。

要約(オリジナル)

Many reinforcement learning approaches rely on temporal-difference (TD) learning to learn a critic. However, TD-learning updates can be high variance. Here, we introduce a model-based RL framework, Taylor TD, which reduces this variance in continuous state-action settings. Taylor TD uses a first-order Taylor series expansion of TD updates. This expansion allows Taylor TD to analytically integrate over stochasticity in the action-choice, and some stochasticity in the state distribution for the initial state and action of each TD update. We include theoretical and empirical evidence that Taylor TD updates are indeed lower variance than standard TD updates. Additionally, we show Taylor TD has the same stable learning guarantees as standard TD-learning with linear function approximation under a reasonable assumption. Next, we combine Taylor TD with the TD3 algorithm, forming TaTD3. We show TaTD3 performs as well, if not better, than several state-of-the art model-free and model-based baseline algorithms on a set of standard benchmark tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google