Why Target Networks Stabilise Temporal Difference Methods

要約

深層強化学習の最近の成功に不可欠なのは、マルコフ決定プロセスでのポリシー評価のために頻繁に更新されないターゲット値を使用する時間差分法のクラスです。
しかし、標的ネットワークの有効性についての完全な理論的説明は、とらえどころのないままです。
この作業では、この一般的なクラスのアルゴリズムの分析を提供し、「なぜターゲット ネットワークは TD 学習を安定させるのか」という質問に最終的に答えます。
そうするために、部分的に適合したポリシー評価方法の概念を形式化します。これは、ターゲットネットワークの使用を記述し、適合した方法と半勾配時間差アルゴリズムの間のギャップを埋めます。
このフレームワークを使用すると、いわゆる致命的なトライアド ((非線形) 関数近似とオフポリシー データを使用した TD 更新の使用) を一意に特徴付けることができます。これは、多くの場合、非収束アルゴリズムにつながります。
この洞察により、ターゲット ネットワークを使用することで、TD 更新のヤコビアンにおける不十分な条件付けの影響を軽減できると結論付けることができます。
代わりに、穏やかな規則性条件と適切に調整されたターゲット ネットワーク更新頻度の下で、非常に困難なオフポリシー サンプリングと非線形関数近似設定でも収束が保証されることを示します。

要約(オリジナル)

Integral to recent successes in deep reinforcement learning has been a class of temporal difference methods that use infrequently updated target values for policy evaluation in a Markov Decision Process. Yet a complete theoretical explanation for the effectiveness of target networks remains elusive. In this work, we provide an analysis of this popular class of algorithms, to finally answer the question: `why do target networks stabilise TD learning’? To do so, we formalise the notion of a partially fitted policy evaluation method, which describes the use of target networks and bridges the gap between fitted methods and semigradient temporal difference algorithms. Using this framework we are able to uniquely characterise the so-called deadly triad – the use of TD updates with (nonlinear) function approximation and off-policy data – which often leads to nonconvergent algorithms. This insight leads us to conclude that the use of target networks can mitigate the effects of poor conditioning in the Jacobian of the TD update. Instead, we show that under mild regularity conditions and a well tuned target network update frequency, convergence can be guaranteed even in the extremely challenging off-policy sampling and nonlinear function approximation setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google