Eliminating Position Bias of Language Models: A Mechanistic Approach

要約

位置バイアスは、モデルが指定されたコンテキスト内での位置に基づいてコンテンツに優先順位を付ける現代言​​語モデル（LMS）の一般的な問題であることが証明されています。
このバイアスは、多くの場合、予期しないモデルの障害につながり、さまざまなアプリケーションでパフォーマンス、堅牢性、信頼性を損ないます。
当社のメカニズム分析は、位置バイアスを、ほぼすべての最先端のLMSで採用した2つのコンポーネント、因果関係と相対的な位置エンコーディングに起因します。
分析に基づいて、トレーニングなしのゼロショットアプローチで位置バイアス（QAの異なるドキュメントの注文がパフォーマンスに影響する）を排除することを提案します。
私たちの方法は、ドキュメント間の双方向の注意への因果関係を変更し、モデルの注意値を利用して、入力プロンプトで提供される順序を使用する代わりに、ドキュメントの相対的な順序を決定するため、ドキュメントレベルで位置不変性推論（パイン）を可能にします。
位置バイアスを排除することにより、モデルは、LM-As-a-a-a-augmented QA、分子生成、数学の推論など、下流タスクのパフォーマンスと信頼性を向上させます。
特に、Pineは、推論ペアを評価するためにLMSを適応させる場合に特に役立ちます。これは、一貫して8〜10パーセントポイントのパフォーマンスを提供し、Llama-3-70B-InstructのパフォーマンスがGPT-4-0125-PREVIEWおよびGPT-4O-2024-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08-08.

要約(オリジナル)

Position bias has proven to be a prevalent issue of modern language models (LMs), where the models prioritize content based on its position within the given context. This bias often leads to unexpected model failures and hurts performance, robustness, and reliability across various applications. Our mechanistic analysis attributes the position bias to two components employed in nearly all state-of-the-art LMs: causal attention and relative positional encodings. Based on the analyses, we propose to eliminate position bias (e.g., different retrieved documents’ orders in QA affect performance) with a training-free zero-shot approach. Our method changes the causal attention to bidirectional attention between documents and utilizes model attention values to decide the relative orders of documents instead of using the order provided in input prompts, therefore enabling Position-INvariant inferencE (PINE) at the document level. By eliminating position bias, models achieve better performance and reliability in downstream tasks, including LM-as-a-judge, retrieval-augmented QA, molecule generation, and math reasoning. Notably, PINE is especially useful when adapting LMs for evaluating reasoning pairs: it consistently provides 8 to 10 percentage points performance gains, making Llama-3-70B-Instruct perform even better than GPT-4-0125-preview and GPT-4o-2024-08-06 on the RewardBench reasoning set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google