Towards a theory of out-of-distribution learning

要約

学習は、学習エージェントが経験やデータを公開することでパフォーマンスを向上させるプロセスです。
この過程を通じて、エージェントはさまざまな学習環境に遭遇する可能性があります。
たとえば、データは、一度に、複数のバッチで、または順次にリーンナーに提示される場合があります。
さらに、各データ サンプルの分布は、同一で独立している (iid) か、非 iid のいずれかになります。
さらに、学習アルゴリズムの展開には計算およびスペースの制約が存在する可能性があります。
学習タスクの複雑さは、学習設定とそれに課せられる制約によって大きく異なります。
ただし、現在の文献には、配布内および配布外の学習パラダイムの多くについて正式な定義が欠けていることに注目する価値があります。
これらの学習設定について適切かつ広く合意された定義を確立することは、さまざまな学習シナリオにわたるアイデアの進化を徹底的に調査し、これらの学習者にとって一般化された数学的限界を導き出すために不可欠です。
この論文では、ほぼ正しいことが証明された (PAC) 学習フレームワークを使用して、さまざまな学習タスクを定義するための時系列的なアプローチを提案することで、この問題に対処することを目的としています。
私たちは分散型学習から始めて、最近提案されている生涯学習または継続学習に進みます。
これらの学習フレームワークのそれぞれが、より広範で一般化された学習可能性の概念の特定のインスタンスをどのように表すかを示すために、一貫した用語と表記法を使用しています。
私たちの希望は、この研究がさまざまな種類の学習を定量化するための普遍的に合意されたアプローチを刺激し、この分野でのより深い理解と進歩を促進することです。

要約(オリジナル)

Learning is a process wherein a learning agent enhances its performance through exposure of experience or data. Throughout this journey, the agent may encounter diverse learning environments. For example, data may be presented to the leaner all at once, in multiple batches, or sequentially. Furthermore, the distribution of each data sample could be either identical and independent (iid) or non-iid. Additionally, there may exist computational and space constraints for the deployment of the learning algorithms. The complexity of a learning task can vary significantly, depending on the learning setup and the constraints imposed upon it. However, it is worth noting that the current literature lacks formal definitions for many of the in-distribution and out-of-distribution learning paradigms. Establishing proper and universally agreed-upon definitions for these learning setups is essential for thoroughly exploring the evolution of ideas across different learning scenarios and deriving generalized mathematical bounds for these learners. In this paper, we aim to address this issue by proposing a chronological approach to defining different learning tasks using the provably approximately correct (PAC) learning framework. We will start with in-distribution learning and progress to recently proposed lifelong or continual learning. We employ consistent terminology and notation to demonstrate how each of these learning frameworks represents a specific instance of a broader, more generalized concept of learnability. Our hope is that this work will inspire a universally agreed-upon approach to quantifying different types of learning, fostering greater understanding and progress in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google