Predictive auxiliary objectives in deep RL mimic learning in the brain

要約

今後の出来事を予測する能力は、自然認識と機械認識の重要な側面を構成していると仮説が立てられています。
これは、深層強化学習 (RL) のトレンドによって裏付けられています。RL では、表現学習をサポートし、タスクのパフォーマンスを向上させるために、予測などの自己教師ありの補助目標が広く使用されています。
ここでは、予測補助目標が RL システムのさまざまなモジュールにわたる表現学習に及ぼす影響と、これらの目標が脳内で観察される表現変化をどのように模倣するかを研究します。
私たちは、特にリソースが限られたアーキテクチャにおいて、予測目標が学習を改善し安定させることを発見し、より長い予測期間が表現の伝達をより適切にサポートする設定を特定します。
さらに、このRLシステムの表象的変化は、さまざまな実験を通じて脳内で観察された神経活動の変化と著しく類似していることがわかりました。
具体的には、RL システムの補助予測モデルと、記憶に導かれた行動をサポートする予測モデルを学習すると考えられている領域である海馬との間の接続を描きます。
また、RL システムのエンコーダ ネットワークと価値学習ネットワークをそれぞれ脳の視覚野と線条体に接続します。
この研究は、深層学習システムにおける表現学習が、脳内の複数領域の相互作用をモデル化するための解釈可能なフレームワークをどのように提供できるかを示しています。
ここで取り上げた深い RL の観点は、脳における海馬の追加の役割、つまり他の領域での表現学習に利益をもたらす補助学習システムの役割も示唆しています。

要約(オリジナル)

The ability to predict upcoming events has been hypothesized to comprise a key aspect of natural and machine cognition. This is supported by trends in deep reinforcement learning (RL), where self-supervised auxiliary objectives such as prediction are widely used to support representation learning and improve task performance. Here, we study the effects predictive auxiliary objectives have on representation learning across different modules of an RL system and how these mimic representational changes observed in the brain. We find that predictive objectives improve and stabilize learning particularly in resource-limited architectures, and we identify settings where longer predictive horizons better support representational transfer. Furthermore, we find that representational changes in this RL system bear a striking resemblance to changes in neural activity observed in the brain across various experiments. Specifically, we draw a connection between the auxiliary predictive model of the RL system and hippocampus, an area thought to learn a predictive model to support memory-guided behavior. We also connect the encoder network and the value learning network of the RL system to visual cortex and striatum in the brain, respectively. This work demonstrates how representation learning in deep RL systems can provide an interpretable framework for modeling multi-region interactions in the brain. The deep RL perspective taken here also suggests an additional role of the hippocampus in the brain — that of an auxiliary learning system that benefits representation learning in other regions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google