The Meta-Representation Hypothesis

要約

人間は、抽象的な推論に従事するために、物事の高レベルの理解、つまりメタ表現に依存しています。
複雑な認知タスクでは、これらのメタ表現は、個人が経験から一般的なルールを抽出するのに役立ちます。
ただし、高次元観測からそのようなメタ表現を構築することは、強化学習（RL）エージェントにとって長年の課題です。
たとえば、よく訓練されたエージェントは、背景色の変化など、同じタスクの軽微なバリエーションでさえ一般化できないことがよくありますが、人間は簡単に処理できます。
この論文では、メタ表現がRLエージェントの一般化能力にどのように寄与するかを理論的に調査し、高次元の観測からのメタ表現を学習することで、さまざまな環境全体で一般化するエージェントの能力が向上することを実証します。
さらに、エージェント間の深い相互学習（DML）は、タスクの根本的な本質を捉えるメタ表現を学ぶのに役立つと仮定します。
経験的結果は、私たちの理論と仮説の両方に強力なサポートを提供します。
全体として、この作業は、深い強化学習の一般化に関する新しい視点を提供します。

要約(オリジナル)

Humans rely on high-level understandings of things, i.e., meta-representations, to engage in abstract reasoning. In complex cognitive tasks, these meta-representations help individuals abstract general rules from experience. However, constructing such meta-representations from high-dimensional observations remains a longstanding challenge for reinforcement learning (RL) agents. For instance, a well-trained agent often fails to generalize to even minor variations of the same task, such as changes in background color, while humans can easily handle. In this paper, we theoretically investigate how meta-representations contribute to the generalization ability of RL agents, demonstrating that learning meta-representations from high-dimensional observations enhance an agent’s ability to generalize across varied environments. We further hypothesize that deep mutual learning (DML) among agents can help them learn the meta-representations that capture the underlying essence of the task. Empirical results provide strong support for both our theory and hypothesis. Overall, this work provides a new perspective on the generalization of deep reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google