Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs

要約

大規模言語モデル (LLM) の位置バイアスにより、長い入力を効果的に処理する能力が妨げられます。
顕著な例は、LLM が入力の途中にある関連情報を活用するのに苦労する「途中で失われた」現象です。
従来の研究では主に単一の関連情報に焦点を当てていましたが、実際のアプリケーションには複数の関連情報が含まれることがよくあります。
このギャップを埋めるために、複数の関連情報を含む位置の偏りを評価するように設計されたベンチマークである LongPiBench を紹介します。
5 つの商用モデルと 6 つのオープンソース モデルを使用して徹底的な実験が行われます。
これらの実験により、現在のモデルのほとんどは「途中で失われた」問題に対して堅牢である一方で、関連する情報部分の間隔に関連する重大なバイアスが存在することが明らかになりました。
これらの調査結果は、LLM の機能を向上させるために位置バイアスを評価し、軽減することの重要性を強調しています。

要約(オリジナル)

Positional bias in large language models (LLMs) hinders their ability to effectively process long inputs. A prominent example is the ‘lost in the middle’ phenomenon, where LLMs struggle to utilize relevant information situated in the middle of the input. While prior research primarily focuses on single pieces of relevant information, real-world applications often involve multiple relevant information pieces. To bridge this gap, we present LongPiBench, a benchmark designed to assess positional bias involving multiple pieces of relevant information. Thorough experiments are conducted with five commercial and six open-source models. These experiments reveal that while most current models are robust against the ‘lost in the middle’ issue, there exist significant biases related to the spacing of relevant information pieces. These findings highlight the importance of evaluating and reducing positional biases to advance LLM’s capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google