Why Target Networks Stabilise Temporal Difference Methods

要約

深層強化学習における最近の成功に不可欠なのは、マルコフ決定プロセスでのポリシー評価に頻繁に更新されない目標値を使用する時間差分法のクラスです。
しかし、標的ネットワークの有効性についての完全な理論的説明は依然として得られていない。
この研究では、この人気のあるクラスのアルゴリズムの分析を提供し、「なぜターゲット ネットワークは TD 学習を安定させるのか」という質問に最終的に答えます。
そのために、部分的に適合したポリシー評価手法の概念を形式化します。これは、ターゲット ネットワークの使用を記述し、適合手法と半勾配時間差分アルゴリズムの間のギャップを橋渡しします。
このフレームワークを使用すると、いわゆる致命的なトライアド、つまり (非線形) 関数近似とオフポリシー データによる TD 更新の使用を独自に特徴付けることができます。これは、多くの場合非収束アルゴリズムにつながります。
この洞察により、ターゲット ネットワークの使用により、TD 更新のヤコビアンにおける不適切な調整の影響を軽減できるという結論に至りました。
代わりに、穏やかな規則性条件と適切に調整されたターゲット ネットワーク更新頻度の下では、非常に困難なオフポリシー サンプリングと非線形関数近似の設定でも収束が保証できることを示します。

要約(オリジナル)

Integral to recent successes in deep reinforcement learning has been a class of temporal difference methods that use infrequently updated target values for policy evaluation in a Markov Decision Process. Yet a complete theoretical explanation for the effectiveness of target networks remains elusive. In this work, we provide an analysis of this popular class of algorithms, to finally answer the question: `why do target networks stabilise TD learning’? To do so, we formalise the notion of a partially fitted policy evaluation method, which describes the use of target networks and bridges the gap between fitted methods and semigradient temporal difference algorithms. Using this framework we are able to uniquely characterise the so-called deadly triad – the use of TD updates with (nonlinear) function approximation and off-policy data – which often leads to nonconvergent algorithms. This insight leads us to conclude that the use of target networks can mitigate the effects of poor conditioning in the Jacobian of the TD update. Instead, we show that under mild regularity conditions and a well tuned target network update frequency, convergence can be guaranteed even in the extremely challenging off-policy sampling and nonlinear function approximation setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google