Contextures: The Mechanism of Representation Learning

要約

この論文は、表現学習のメカニズム、または前orainingのメカニズムを数学的に特徴付けるための文脈理論を確立します。
基礎モデルの顕著な経験的成功にもかかわらず、彼らがどの表現を学習し、なぜこれらの表現がさまざまな下流のタスクに役立つのかはそれほど明確ではありません。
特に、モデルサイズを拡大することでリターンが減少し、新しい事前トレーニング方法の設計がさらに進歩するためには、この時点で、表現学習の科学的理解が重要です。
以前の研究では、さまざまな表現学習方法がまったく異なって扱われましたが、コンテキスト理論はこれらの方法を分析するための統一されたフレームワークを提供します。
中心的な議論は、入力Xとコンテキスト変数Aの間の関連付けから表現が学習されるということです。エンコーダがこの関連の最大情報をキャプチャする場合、エンコーダーはコンテキストを学習すると言うことを証明します。
また、XとAの関連が強すぎたり弱すぎたりしない場合、コンテキストが最も有用であることも示します。
コンテキスト理論の重要な意味は、モデルサイズのみを増やすと、収益が減少し、さらなる進歩がより良いコンテキストが必要であるということです。
多くの事前トレーニング目標が、監視された学習、自己監視学習、生成モデルなど、コンテキストを学習できることを実証します。その後、コンテキストを学習するために、SVMEとKiseの2つの一般的な目的を紹介します。
また、複数のコンテキストを組み合わせる方法も示します。これは、既存のコンテキストからより良いコンテキストを作成する簡単な方法です。
次に、表現学習の統計学習境界を証明します。
最後に、データ分布のシフトの影響について、前流タスクへの影響について説明します。

要約(オリジナル)

This dissertation establishes the contexture theory to mathematically characterize the mechanism of representation learning, or pretraining. Despite the remarkable empirical success of foundation models, it is not very clear what representations they learn, and why these representations are useful for various downstream tasks. A scientific understanding of representation learning is critical, especially at this point when scaling up the model size is producing diminishing returns, and designing new pretraining methods is imperative for further progress. Prior work treated different representation learning methods quite differently, whereas the contexture theory provides a unified framework for analyzing these methods. The central argument is that a representation is learned from the association between the input X and a context variable A. We prove that if an encoder captures the maximum information of this association, in which case we say that the encoder learns the contexture, then it will be optimal on the class of tasks that are compatible with the context. We also show that a context is the most useful when the association between X and A is neither too strong nor too weak. The important implication of the contexture theory is that increasing the model size alone will achieve diminishing returns, and further advancements require better contexts. We demonstrate that many pretraining objectives can learn the contexture, including supervised learning, self-supervised learning, generative models, etc. Then, we introduce two general objectives — SVME and KISE, for learning the contexture. We also show how to mix multiple contexts together, an effortless way to create better contexts from existing ones. Then, we prove statistical learning bounds for representation learning. Finally, we discuss the effect of the data distribution shift from pretraining to the downstream task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google