OMNI-EPIC: Open-endedness via Models of human Notions of Interestingness with Environments Programmed in Code

要約

オープンエンドおよびAIの生成アルゴリズムは、ますます複雑なタスクを無期限に継続的に生成し、解決することを目的としており、より一般的な知性への有望な道を提供します。
この壮大なビジョンを達成するには、潜在的なタスクの膨大な配列内で学習が行われなければなりません。
環境を自動的に生成するための既存のアプローチは、手動で定義された、しばしば狭い環境の分布内で制約され、学習環境を作成する能力が制限されます。
この制限に対処するために、コード（EPIC）でプログラムされた環境を使用して、人間の興味深い概念（OMNI）のモデルを介して以前の作業をオープンエンドネスで増強する新しいフレームワークであるOmni-Epicを紹介します。
OMNI-EPICは、基礎モデルを活用して、次の学習可能な（つまり、エージェントの現在のスキルセットでは簡単すぎる、または困難ではない）と興味深い（たとえば、価値のある斬新な）タスクを指定するコードを自律的に生成します。
OMNI-EPICは、両方の環境（障害物コースなど）と報酬機能（たとえば、赤いオブジェクトに触れることなく障害物コースを迅速に進行する）を生成し、原則として、シミュレーション可能な学習タスクを作成できるようにします。
Omni-EPICの爆発的な創造性を紹介します。これは、新しい興味深い学習の課題を示唆するために継続的に革新します。
また、OMNI-EPICがどのように強化学習エージェントの学習の進歩に適応し、適切な困難なタスクを生成できるかを強調しています。
全体として、OMNI-EPICは、学習可能で興味深い環境を際限なく作成し、自己改善AIシステムとAI生成アルゴリズムの開発をさらに推進することができます。
ビデオ付きプロジェクトWebサイト：https：//dub.sh/omniepic

要約(オリジナル)

Open-ended and AI-generating algorithms aim to continuously generate and solve increasingly complex tasks indefinitely, offering a promising path toward more general intelligence. To accomplish this grand vision, learning must occur within a vast array of potential tasks. Existing approaches to automatically generating environments are constrained within manually predefined, often narrow distributions of environment, limiting their ability to create any learning environment. To address this limitation, we introduce a novel framework, OMNI-EPIC, that augments previous work in Open-endedness via Models of human Notions of Interestingness (OMNI) with Environments Programmed in Code (EPIC). OMNI-EPIC leverages foundation models to autonomously generate code specifying the next learnable (i.e., not too easy or difficult for the agent’s current skill set) and interesting (e.g., worthwhile and novel) tasks. OMNI-EPIC generates both environments (e.g., an obstacle course) and reward functions (e.g., progress through the obstacle course quickly without touching red objects), enabling it, in principle, to create any simulatable learning task. We showcase the explosive creativity of OMNI-EPIC, which continuously innovates to suggest new, interesting learning challenges. We also highlight how OMNI-EPIC can adapt to reinforcement learning agents’ learning progress, generating tasks that are of suitable difficulty. Overall, OMNI-EPIC can endlessly create learnable and interesting environments, further propelling the development of self-improving AI systems and AI-Generating Algorithms. Project website with videos: https://dub.sh/omniepic

arxiv情報

提供元, 利用サービス

arxiv.jp, Google