A Definition of Open-Ended Learning Problems for Goal-Conditioned Agents

要約

最近の機械学習の研究論文の多くには、タイトルに「オープンエンド学習」が含まれています。
しかし、この用語を使用するときにその意味を定義しようとする人はほとんどいません。
さらに悪いことに、より詳しく見てみると、オープンエンド型学習と、継続学習、生涯学習、自己学習などの関連概念とを区別するものについては、コンセンサスが得られていないようです。
この文書では、この状況の解決に貢献します。
この概念の系譜と、それが実際に何を意味するのかについてのより最近の視点を説明した後、オープンエンド型学習は一般に、一連の多様な特性を包含する複合的な概念として考えられているということを概説します。
これらの以前のアプローチとは対照的に、私たちは、無限の地平線にわたって常に新しい要素を随時生成するという、オープンエンドプロセスの重要な基本特性を分離することを提案します。
そこから、私たちはオープンエンド型の学習問題の概念を構築し、特にオープンエンド型の目標条件付き強化学習問題のサブセットに焦点を当てます。これは、このフレームワークによってスキルのレパートリーが増加しつつある学習の定義が容易になるためです。
最後に、私たちの初歩的な定義と、発達 AI 研究者が念頭に置いている可能性のあるオープンエンド型学習のより複雑な概念との間のギャップを埋めるために行われなければならない作業に焦点を当てます。

要約(オリジナル)

A lot of recent machine learning research papers have ‘Open-ended learning’ in their title. But very few of them attempt to define what they mean when using the term. Even worse, when looking more closely there seems to be no consensus on what distinguishes open-ended learning from related concepts such as continual learning, lifelong learning or autotelic learning. In this paper, we contribute to fixing this situation. After illustrating the genealogy of the concept and more recent perspectives about what it truly means, we outline that open-ended learning is generally conceived as a composite notion encompassing a set of diverse properties. In contrast with these previous approaches, we propose to isolate a key elementary property of open-ended processes, which is to always produce novel elements from time to time over an infinite horizon. From there, we build the notion of open-ended learning problems and focus in particular on the subset of open-ended goal-conditioned reinforcement learning problems, as this framework facilitates the definition of learning a growing repertoire of skills. Finally, we highlight the work that remains to be performed to fill the gap between our elementary definition and the more involved notions of open-ended learning that developmental AI researchers may have in mind.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google