General-Purpose In-Context Learning by Meta-Learning Transformers

要約

最新の機械学習では、システム設計者が損失、アーキテクチャ、オプティマイザーなどの学習パイプラインの側面を指定する必要があります。
メタラーニング、つまりラーニング・トゥ・ラーニングは、それらの側面を学ぶことを目的としており、より少ない手作業でより優れた機能を解放することを約束します。
メタ学習の特に野心的な目標の 1 つは、帰納的バイアスを最小限に抑えたブラック ボックス モデルのみを使用して、汎用のコンテキスト内学習アルゴリズムをゼロからトレーニングすることです。
このようなモデルは、推論モデル、トレーニング損失、または最適化アルゴリズムを明示的に定義することなく、トレーニング データを取り込み、幅広い問題にわたるテストセットの予測を生成します。
この論文では、トランスフォーマーやその他のブラックボックス モデルをメタトレーニングして、汎用のコンテキスト内学習器として機能できることを示します。
モデルのサイズ、タスク数、メタ最適化の変化によって引き起こされる、一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングにまったく失敗するアルゴリズム間の遷移を特徴付けます。
さらに、パラメータ数によってボトルネックになると考えられている標準モデルとは異なり、メタトレーニングされたアルゴリズムの機能は、次の予測を決定するアクセス可能な状態サイズ (メモリ) によってボトルネックになることを示します。
最後に、汎用インコンテキスト学習アルゴリズムのメタトレーニングとメタ一般化を改善するトレーニング分布のバイアスなどの実践的な介入を提案します。

要約(オリジナル)

Modern machine learning requires system designers to specify aspects of the learning pipeline, such as losses, architectures, and optimizers. Meta-learning, or learning-to-learn, instead aims to learn those aspects, and promises to unlock greater capabilities with less manual effort. One particularly ambitious goal of meta-learning is to train general-purpose in-context learning algorithms from scratch, using only black-box models with minimal inductive bias. Such a model takes in training data, and produces test-set predictions across a wide range of problems, without any explicit definition of an inference model, training loss, or optimization algorithm. In this paper we show that Transformers and other black-box models can be meta-trained to act as general-purpose in-context learners. We characterize transitions between algorithms that generalize, algorithms that memorize, and algorithms that fail to meta-train at all, induced by changes in model size, number of tasks, and meta-optimization. We further show that the capabilities of meta-trained algorithms are bottlenecked by the accessible state size (memory) determining the next prediction, unlike standard models which are thought to be bottlenecked by parameter count. Finally, we propose practical interventions such as biasing the training distribution that improve the meta-training and meta-generalization of general-purpose in-context learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google