Replay Buffer with Local Forgetting for Adapting to Local Environment Changes in Deep Model-Based Reinforcement Learning

要約

研究対象がげっ歯類であれ人間であれ、モデルベースの学習を示すかどうかを判断するために神経科学で使用される重要な行動特性の 1 つは、環境の局所的な変化に対する効果的な適応であり、適応性の特定の形式です。
この作品の焦点。
しかし、強化学習では、最新のディープモデルベース強化学習 (MBRL) 手法がローカル環境の変化にうまく適応できないことが最近の研究で示されています。
この不一致の説明としては、MBRL 手法は通常、単一タスクでのサンプル効率を念頭に置いて設計されており、学習された世界モデルと計画ルーチンの両方の観点から、効果的な適応の要件が大幅に高くなっていることが考えられます。
特に難しい要件の 1 つは、学習された世界モデルが状態空間の関連部分全体にわたって十分に正確でなければならないということです。
これは、壊滅的な忘却のため、深層学習ベースの世界モデルにとっては困難です。
また、リプレイ バッファーは壊滅的な忘却の影響を軽減できますが、従来の先入れ先出し方式のリプレイ バッファーでは古いデータが維持されるため、効果的な適応が妨げられます。
この研究では、この従来のリプレイ バッファの概念的に単純なバリエーションがこの制限を克服できることを示します。
新たに観測されたサンプルのローカル近傍のサンプルのみをバッファーから削除することで、状態空間全体にわたって精度を維持しながら、報酬関数のローカルな変化にも効果的に適応できるディープワールドモデルを構築できます。
これを、古典的な Dyna メソッドのディープ バージョンだけでなく、PlaNet や DreamerV2 などの最近のメソッドにもリプレイ バッファのバリエーションを適用することでこれを実証し、ディープ モデルベースのメソッドが環境の局所的な変化にも効果的に適応できることを実証します。
。

要約(オリジナル)

One of the key behavioral characteristics used in neuroscience to determine whether the subject of study — be it a rodent or a human — exhibits model-based learning is effective adaptation to local changes in the environment, a particular form of adaptivity that is the focus of this work. In reinforcement learning, however, recent work has shown that modern deep model-based reinforcement-learning (MBRL) methods adapt poorly to local environment changes. An explanation for this mismatch is that MBRL methods are typically designed with sample-efficiency on a single task in mind and the requirements for effective adaptation are substantially higher, both in terms of the learned world model and the planning routine. One particularly challenging requirement is that the learned world model has to be sufficiently accurate throughout relevant parts of the state-space. This is challenging for deep-learning-based world models due to catastrophic forgetting. And while a replay buffer can mitigate the effects of catastrophic forgetting, the traditional first-in-first-out replay buffer precludes effective adaptation due to maintaining stale data. In this work, we show that a conceptually simple variation of this traditional replay buffer is able to overcome this limitation. By removing only samples from the buffer from the local neighbourhood of the newly observed samples, deep world models can be built that maintain their accuracy across the state-space, while also being able to effectively adapt to local changes in the reward function. We demonstrate this by applying our replay-buffer variation to a deep version of the classical Dyna method, as well as to recent methods such as PlaNet and DreamerV2, demonstrating that deep model-based methods can adapt effectively as well to local changes in the environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google