ARCLE: The Abstraction and Reasoning Corpus Learning Environment for Reinforcement Learning

要約

この論文では、Abstraction and Reasoning Corpus (ARC) の強化学習研究を促進するために設計された環境である ARCLE を紹介します。
強化学習を使用してこの帰納的推論のベンチマークに対処すると、広大なアクション スペース、到達するのが難しい目標、およびさまざまなタスクという課題が生じます。
近接ポリシー最適化を備えたエージェントが ARCLE を通じて個々のタスクを学習できることを実証します。
非要因ポリシーと補助損失の採用によりパフォーマンスが向上し、行動範囲と目標達成に関連する問題が効果的に軽減されました。
これらの洞察に基づいて、MAML、GFlowNets、World Models などの ARCLE を使用するためのいくつかの研究の方向性と動機を提案します。

要約(オリジナル)

This paper introduces ARCLE, an environment designed to facilitate reinforcement learning research on the Abstraction and Reasoning Corpus (ARC). Addressing this inductive reasoning benchmark with reinforcement learning presents these challenges: a vast action space, a hard-to-reach goal, and a variety of tasks. We demonstrate that an agent with proximal policy optimization can learn individual tasks through ARCLE. The adoption of non-factorial policies and auxiliary losses led to performance enhancements, effectively mitigating issues associated with action spaces and goal attainment. Based on these insights, we propose several research directions and motivations for using ARCLE, including MAML, GFlowNets, and World Models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google