Supposedly Equivalent Facts That Aren’t? Entity Frequency in Pre-training Induces Asymmetry in LLMs

要約

信頼できるコンテンツ生成を確保するには、大規模な言語モデル（LLMS）での幻覚を理解し、緩和することが重要です。
以前の研究では主に「LLMS幻覚」に焦点を当てていましたが、私たちの作品は「理由」を説明し、モデルの動作を事前知識を形成するトレーニング前のデータに直接リンクしています。
具体的には、非対称性が論理的に同等の事実の認識に存在することを実証します。これは、対象と対象として現れるエンティティの頻度の矛盾に起因する可能性があります。
ほとんどのトレーニングデータセットにアクセスできないことを考えると、Dolmaデータセットをインデックス化してエンティティの頻度を推定することにより、完全にオープンソースのOLMOシリーズを活用します。
Wikidata5Mのリレーショナルファクト（トリプルとして表される）を使用して、この効果を分離するために調査データセットを構築します。
私たちの実験では、高周波の主題と低周波オブジェクトを持つ事実は、論理的な等価性にもかかわらず、逆よりもよく認識されていることが明らかになりました。
パターンは低から高度の周波数設定で逆転し、両方のエンティティが高周波である場合、統計的に有意な非対称性は現れません。
これらの調査結果は、モデルの予測を形成する際のトレーニング前データの影響力のある役割を強調し、閉じたまたは部分的に閉じたLLMでトレーニング前データの特性を推測するための洞察を提供します。

要約(オリジナル)

Understanding and mitigating hallucinations in Large Language Models (LLMs) is crucial for ensuring reliable content generation. While previous research has primarily focused on ‘when’ LLMs hallucinate, our work explains ‘why’ and directly links model behaviour to the pre-training data that forms their prior knowledge. Specifically, we demonstrate that an asymmetry exists in the recognition of logically equivalent facts, which can be attributed to frequency discrepancies of entities appearing as subjects versus objects. Given that most pre-training datasets are inaccessible, we leverage the fully open-source OLMo series by indexing its Dolma dataset to estimate entity frequencies. Using relational facts (represented as triples) from Wikidata5M, we construct probing datasets to isolate this effect. Our experiments reveal that facts with a high-frequency subject and a low-frequency object are better recognised than their inverse, despite their logical equivalence. The pattern reverses in low-to-high frequency settings, and no statistically significant asymmetry emerges when both entities are high-frequency. These findings highlight the influential role of pre-training data in shaping model predictions and provide insights for inferring the characteristics of pre-training data in closed or partially closed LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google