Foundation Model’s Embedded Representations May Detect Distribution Shift

要約

サンプリングバイアスは、教師あり学習タスクの訓練データセットとテストデータセットの間で分布のずれを引き起こし、モデルの汎化能力を理解する能力を曖昧にする。これは、転移学習（Transfer Learning: TL）タスクにおいて、その挙動が十分に理解されていない事前学習済みのニューラルネットワークが広く採用されていることを考慮すると、特に重要である。我々は、Sentiment140データセットにおけるTLのケーススタディを提示し、多くの事前訓練された基礎モデルが、Sentiment140の手動でキュレートされたテストセット$M$と、自動的にラベル付けされた訓練セット$P$とで、異なる表現をエンコードすることを示し、分布シフトが起きていることを確認する。我々は、$P$で訓練し、$M$で性能を測定することは、汎化の偏った尺度であると主張する。訓練済みGPT-2での実験から、$P$から学習可能な特徴は$M$での性能を向上させない（むしろ阻害する）ことが示される。事前訓練されたGPT-2の表現に対する線形プローブは頑健であり、全体的な微調整を上回る可能性さえある。

要約(オリジナル)

Sampling biases can cause distribution shifts between train and test datasets for supervised learning tasks, obscuring our ability to understand the generalization capacity of a model. This is especially important considering the wide adoption of pre-trained foundational neural networks — whose behavior remains poorly understood — for transfer learning (TL) tasks. We present a case study for TL on the Sentiment140 dataset and show that many pre-trained foundation models encode different representations of Sentiment140’s manually curated test set $M$ from the automatically labeled training set $P$, confirming that a distribution shift has occurred. We argue training on $P$ and measuring performance on $M$ is a biased measure of generalization. Experiments on pre-trained GPT-2 show that the features learnable from $P$ do not improve (and in fact hamper) performance on $M$. Linear probes on pre-trained GPT-2’s representations are robust and may even outperform overall fine-tuning, implying a fundamental importance for discerning distribution shift in train/test splits for model interpretation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL