Probability Consistency in Large Language Models: Theoretical Foundations Meet Empirical Discrepancies

要約

自動回復的な大手言語モデル（LLMS）は、さまざまなトークン順序でシーケンスで訓練されたときに一貫した確率分布を学ぶことができますか？
明確に定義された確率分布の場合、シーケンスの困惑は、前方、後方、または任意の順列を含む、あらゆる要因の下で不変であることを正式に証明します。
この結果は、LLMがデータからどのように学習するかを研究し、経験的評価のための原則的なプロトコルを定義するための厳格な理論的基盤を確立します。
これらのプロトコルを適用すると、秩序化効果を調べる以前の研究が重要な方法論的欠陥に悩まされていることを示します。
科学テキストの前方、後方、および任意の順な順序を越えてGPT-2モデルを再訓練します。
すべての秩序にわたる理論的不変性からの体系的な逸脱は、任意の順列が前方モデルと後方モデルの両方から強く逸脱していることを発見します。
逸脱は、処理における位置的および局所的なバイアスを反映して、自己関節の違いに追跡可能でした。
私たちの理論的および経験的結果は、LLMSの位置バイアスを理解するための新しい手段を提供し、LLMSの確率分布が矛盾しているため信頼できない場合に検出する方法を提案します。

要約(オリジナル)

Can autoregressive large language models (LLMs) learn consistent probability distributions when trained on sequences in different token orders? We prove formally that for any well-defined probability distribution, sequence perplexity is invariant under any factorization, including forward, backward, or arbitrary permutations. This result establishes a rigorous theoretical foundation for studying how LLMs learn from data and defines principled protocols for empirical evaluation. Applying these protocols, we show that prior studies examining ordering effects suffer from critical methodological flaws. We retrain GPT-2 models across forward, backward, and arbitrary permuted orders on scientific text. We find systematic deviations from theoretical invariance across all orderings with arbitrary permutations strongly deviating from both forward and backward models, which largely (but not completely) agreed with one another. Deviations were traceable to differences in self-attention, reflecting positional and locality biases in processing. Our theoretical and empirical results provide novel avenues for understanding positional biases in LLMs and suggest methods for detecting when LLMs’ probability distributions are inconsistent and therefore untrustworthy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google