Impact of Co-occurrence on Factual Knowledge of Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなアプリケーションで成功しているにもかかわらず、事実に反する応答を行うことがよくあります。
この論文では、トレーニング前のコーパスの単純な共起統計に大きく依存していることが、事実誤認を引き起こす主な要因の 1 つであるという仮説を立てています。
私たちの結果は、LLM が正しい答えよりも頻繁に共起する単語を好むと定義される共起バイアスに対して脆弱であることを明らかにしました。
その結果、LLM は、微調整中に表示されるものの、トレーニング前のデータセットで主語と目的語が同時に出現することはめったにない事実を思い出すのに苦労します。
モデルのサイズをスケールアップしたり微調整したりしても、共起バイアスが残ることを示します。
したがって、サブジェクトとオブジェクトの共起数が多い偏りのあるサンプルを除外することで偏りを軽減するために、偏りを軽減したデータセットを微調整することをお勧めします。
偏りをなくした微調整により、LLM はトレーニング セット内のまれな事実を記憶できるようになりますが、微調整中に見えなかった稀な事実を思い出すことには効果的ではありません。
緩和に関するさらなる研究は、潜在的なエラーを防止することにより、信頼性の高い言語モデルを構築するのに役立ちます。
コードは \url{https://github.com/CheongWoong/impact_of_cooccurrence} で入手できます。

要約(オリジナル)

Large language models (LLMs) often make factually incorrect responses despite their success in various applications. In this paper, we hypothesize that relying heavily on simple co-occurrence statistics of the pre-training corpora is one of the main factors that cause factual errors. Our results reveal that LLMs are vulnerable to the co-occurrence bias, defined as preferring frequently co-occurred words over the correct answer. Consequently, LLMs struggle to recall facts whose subject and object rarely co-occur in the pre-training dataset although they are seen during finetuning. We show that co-occurrence bias remains despite scaling up model sizes or finetuning. Therefore, we suggest finetuning on a debiased dataset to mitigate the bias by filtering out biased samples whose subject-object co-occurrence count is high. Although debiased finetuning allows LLMs to memorize rare facts in the training set, it is not effective in recalling rare facts unseen during finetuning. Further research in mitigation will help build reliable language models by preventing potential errors. The code is available at \url{https://github.com/CheongWoong/impact_of_cooccurrence}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google