Model-agnostic Measure of Generalization Difficulty

要約

タイトル：汎化の困難度を測定するモデルに依存しない尺度

要約：

– 機械学習アルゴリズムの能力は、実行できるタスクの難しさによって決まる。
– しかし、機械学習のベンチマークの汎化困難さを定量化することは難しい。
– この研究では、タスクの汎化困難度を計測するモデルに依存しない尺度を提案する。
– この尺度は、データが提供する情報を除いたタスクの汎化に必要な総情報量を測定する推論バイアス複雑性尺度である。
– この尺度は、総合的な次元数に対する指数関数的にスケールするが、次元あたりの分解能に対しては多項式的にスケールする。
– この尺度は、教師あり学習、強化学習、メタ学習を含む汎化困難度を比較することができる。
– 実証的に適用すると、MNIST < CIFAR10 < Imagenet、完全観測型MDP < 部分観測型MDP、複雑な画像分類 < 単純な画像のfew-shotメタ学習などの傾向が観察された。 - この尺度は、より高い推論バイアスを必要とするより複雑なタスクの構築を促し、より強力な汎化能力を持つより洗練されたアーキテクチャと学習アルゴリズムの開発を促す量的指標となる。

要約(オリジナル)

The measure of a machine learning algorithm is the difficulty of the tasks it can perform, and sufficiently difficult tasks are critical drivers of strong machine learning models. However, quantifying the generalization difficulty of machine learning benchmarks has remained challenging. We propose what is to our knowledge the first model-agnostic measure of the inherent generalization difficulty of tasks. Our inductive bias complexity measure quantifies the total information required to generalize well on a task minus the information provided by the data. It does so by measuring the fractional volume occupied by hypotheses that generalize on a task given that they fit the training data. It scales exponentially with the intrinsic dimensionality of the space over which the model must generalize but only polynomially in resolution per dimension, showing that tasks which require generalizing over many dimensions are drastically more difficult than tasks involving more detail in fewer dimensions. Our measure can be applied to compute and compare supervised learning, reinforcement learning and meta-learning generalization difficulties against each other. We show that applied empirically, it formally quantifies intuitively expected trends, e.g. that in terms of required inductive bias, MNIST < CIFAR10 < Imagenet and fully observable Markov decision processes (MDPs) < partially observable MDPs. Further, we show that classification of complex images $<$ few-shot meta-learning with simple images. Our measure provides a quantitative metric to guide the construction of more complex tasks requiring greater inductive bias, and thereby encourages the development of more sophisticated architectures and learning algorithms with more powerful generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI