Agent-Aware Training for Agent-Agnostic Action Advising in Deep Reinforcement Learning

要約

行動アドバイスでは、深層強化学習 (DRL) におけるサンプリングの非効率の問題を軽減するために、専門教師からの補足的なガイダンスを活用するよう努めています。
これまでのエージェント固有の行動アドバイス方法は、エージェント自体の不完全性によって妨げられていましたが、エージェントに依存しないアプローチでは、学習エージェントに対する適応性が限られていました。
この研究では、この 2 つのバランスをとるために、エージェントを意識したトレーニングでありながらエージェントに依存しないアクションアドバイス (A7) と呼ばれる新しいフレームワークを提案します。
A7 の基礎となる概念は、状態の特徴の類似性をアドバイスを求めるための指標として利用することを中心に展開しています。
ただし、従来の方法とは異なり、状態特徴の類似性の測定は、エラーを起こしやすい学習エージェントやエージェントに依存しないアドバイザーによって実行されません。
代わりに、プロキシ モデルを使用して、識別的 (エージェントに適応的) かつ一般的に適用可能 (エージェント ノイズに強い) の両方の状態特徴を抽出します。
さらに、行動クローニングを利用してアドバイスを再利用するためのモデルをトレーニングし、アドバイスされたサンプルに対する固有の報酬を導入して、専門家の指導の利用を奨励します。
実験は、GridWorld、LunarLander、および Atari ゲームの 6 つの著名なシナリオで行われます。
結果は、A7 が学習プロセスを大幅に加速し、既存の方法 (エージェント固有の方法とエージェントに依存しない方法の両方) を大幅に上回っていることを示しています。
私たちのコードは公開されます。

要約(オリジナル)

Action advising endeavors to leverage supplementary guidance from expert teachers to alleviate the issue of sampling inefficiency in Deep Reinforcement Learning (DRL). Previous agent-specific action advising methods are hindered by imperfections in the agent itself, while agent-agnostic approaches exhibit limited adaptability to the learning agent. In this study, we propose a novel framework called Agent-Aware trAining yet Agent-Agnostic Action Advising (A7) to strike a balance between the two. The underlying concept of A7 revolves around utilizing the similarity of state features as an indicator for soliciting advice. However, unlike prior methodologies, the measurement of state feature similarity is performed by neither the error-prone learning agent nor the agent-agnostic advisor. Instead, we employ a proxy model to extract state features that are both discriminative (adaptive to the agent) and generally applicable (robust to agent noise). Furthermore, we utilize behavior cloning to train a model for reusing advice and introduce an intrinsic reward for the advised samples to incentivize the utilization of expert guidance. Experiments are conducted on the GridWorld, LunarLander, and six prominent scenarios from Atari games. The results demonstrate that A7 significantly accelerates the learning process and surpasses existing methods (both agent-specific and agent-agnostic) by a substantial margin. Our code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google