Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

要約

大規模言語モデル (LLM) は、膨大な量の世界の知識を保存でき、多くの場合、質問応答を通じて抽出できます (例: 「エイブラハム リンカーンの誕生日は何ですか?」)。
しかし、彼らはトレーニング中に同様の質問にさらされたこと（つまりカンニング）に基づいてそのような質問に答えているのでしょうか、それともウィキペディアなどの情報源から知識を抽出する方法を純粋に学んだことによって答えているのでしょうか？
この論文では、管理された伝記データセットを使用してこの問題を調査します。
モデルの知識抽出能力とトレーニング データのさまざまな多様性の尺度の間に強い相関関係があることがわかりました。
$\textbf{本質的に}$、知識を確実に抽出するには、$\textit{事前トレーニング中}$、(言い換え、文のシャッフル、翻訳などを通じて)十分に拡張する必要があります。
このような拡張がないと、知識は記憶されても抽出できない可能性があり、その後の命令の微調整に関係なく、精度が 0% になってしまいます。
なぜこれが起こるのかを理解するために、(ほぼ) 線形プローブを使用して、観測された相関関係と、モデルが知識を内部的にエンコードする方法 (エンティティ名の隠れた埋め込みに線形エンコードされているか、エンティティ名の他のトークン埋め込みに分散されているか) との間の強い関係を実証します。
トレーニングテキスト。
このペーパーでは、$\textbf{業界における LLM 事前トレーニングに関するいくつかの重要な推奨事項}$ を提供します: (1) 知識を拡張するために、小さな補助モデルを使用して事前トレーニング データを書き換える、(2) より多くの命令微調整データを組み込む
手遅れになる前に、事前トレーニング段階に移行してください。

要約(オリジナル)

Large language models (LLMs) can store a vast amount of world knowledge, often extractable via question-answering (e.g., ‘What is Abraham Lincoln’s birthday?’). However, do they answer such questions based on exposure to similar questions during training (i.e., cheating), or by genuinely learning to extract knowledge from sources like Wikipedia? In this paper, we investigate this issue using a controlled biography dataset. We find a strong correlation between the model’s ability to extract knowledge and various diversity measures of the training data. $\textbf{Essentially}$, for knowledge to be reliably extracted, it must be sufficiently augmented (e.g., through paraphrasing, sentence shuffling, translations) $\textit{during pretraining}$. Without such augmentation, knowledge may be memorized but not extractable, leading to 0% accuracy, regardless of subsequent instruction fine-tuning. To understand why this occurs, we employ (nearly) linear probing to demonstrate a strong connection between the observed correlation and how the model internally encodes knowledge — whether it is linearly encoded in the hidden embeddings of entity names or distributed across other token embeddings in the training text. This paper provides $\textbf{several key recommendations for LLM pretraining in the industry}$: (1) rewrite the pretraining data — using small, auxiliary models — to provide knowledge augmentation, and (2) incorporate more instruction-finetuning data into the pretraining stage before it becomes too late.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google