Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

要約

大規模な言語モデルには、広範な世界知識を保存でき、多くの場合、質問応答を通じて抽出できます (例: 「エイブラハム リンカーンの誕生日は何ですか?」)。
ただし、モデルがトレーニング中にまったく同じ/類似の質問にさらされたことに基づいて質問に回答するのか、それとも情報源 (Wikipedia の伝記など) から本当に知識を抽出しているのかは不明です。
この論文では、制御された半合成伝記データのセットを使用して、この問題の詳細な研究を実施します。
モデルの知識抽出能力とトレーニング データのさまざまな多様性の尺度の間の関係を明らかにします。
私たちは（ほぼ）線形の調査を実施し、この関係と、モデルがエンティティ名の隠れた埋め込み部分で知識属性を（ほぼ）線形にエンコードするか、トレーニング テキスト内の他のトークンの埋め込み全体にわたって知識属性を（ほぼ）線形にエンコードするかどうかとの間の強い相関関係を明らかにします。

要約(オリジナル)

Large language models can store extensive world knowledge, often extractable through question-answering (e.g., ‘What is Abraham Lincoln’s birthday?’). However, it’s unclear whether the model answers questions based on exposure to exact/similar questions during training, or if it genuinely extracts knowledge from the source (e.g., Wikipedia biographies). In this paper, we conduct an in-depth study of this problem using a controlled set of semi-synthetic biography data. We uncover a relationship between the model’s knowledge extraction ability and different diversity measures of the training data. We conduct (nearly) linear probing, revealing a strong correlation between this relationship and whether the model (nearly) linearly encodes the knowledge attributes at the hidden embedding of the entity names, or across the embeddings of other tokens in the training text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google