PreND: Enhancing Intrinsic Motivation in Reinforcement Learning through Pre-trained Network Distillation

要約

幼児の発達学習の心理学に触発された内発的動機付けは、まばらな外部報酬だけに依存することなく、エージェントの探求を刺激します。
ランダム ネットワーク蒸留 (RND) などの強化学習の既存の手法は、(1) 生の視覚入力に依存するため、意味のある表現が欠如する、(2) 堅牢な潜在空間を構築できない、(3) 不十分ななどの重大な制限に直面しています。
ターゲットネットワークの初期化、および (4) 固有の報酬の急速な低下。
この論文では、広く使用されている予測ベースの手法である RND を改良することで、強化学習 (RL) における内発的動機づけを強化する新しいアプローチである事前トレーニング済みネットワーク蒸留 (PreND) を紹介します。
PreND は、事前トレーニングされた表現モデルをターゲット ネットワークと予測ネットワークの両方に組み込むことでこれらの課題に対処し、モデルによって学習された表現を強化しながら、より有意義で安定した固有の報酬をもたらします。
また、学習率を制御することによる、予測子ネットワーク最適化の単純だが効果的な変形も試しました。
Atari ドメインでの実験を通じて、PreND が RND よりも大幅に優れたパフォーマンスを示し、より強力な内発的動機づけシグナルを提供し、より良い探索につながり、全体的なパフォーマンスとサンプル効率が向上することを実証しました。
この研究は、予測に基づく内発的動機づけにおけるターゲットと予測子のネットワーク表現の重要性を強調し、報酬が少ない環境におけるRLエージェントの学習効率を向上させるための新たな方向性を設定します。

要約(オリジナル)

Intrinsic motivation, inspired by the psychology of developmental learning in infants, stimulates exploration in agents without relying solely on sparse external rewards. Existing methods in reinforcement learning like Random Network Distillation (RND) face significant limitations, including (1) relying on raw visual inputs, leading to a lack of meaningful representations, (2) the inability to build a robust latent space, (3) poor target network initialization and (4) rapid degradation of intrinsic rewards. In this paper, we introduce Pre-trained Network Distillation (PreND), a novel approach to enhance intrinsic motivation in reinforcement learning (RL) by improving upon the widely used prediction-based method, RND. PreND addresses these challenges by incorporating pre-trained representation models into both the target and predictor networks, resulting in more meaningful and stable intrinsic rewards, while enhancing the representation learned by the model. We also tried simple but effective variants of the predictor network optimization by controlling the learning rate. Through experiments on the Atari domain, we demonstrate that PreND significantly outperforms RND, offering a more robust intrinsic motivation signal that leads to better exploration, improving overall performance and sample efficiency. This research highlights the importance of target and predictor networks representation in prediction-based intrinsic motivation, setting a new direction for improving RL agents’ learning efficiency in sparse reward environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google