Lost in the Middle, and In-Between: Enhancing Language Models’ Ability to Reason Over Long Contexts in Multi-Hop QA

要約

これまでの研究では、最近のロングコンテキスト言語モデルは入力の途中にある情報を均等に利用できず、末尾にある情報を優先するため、モデルに同等の能力を持たせたい状況において不当なバイアスが生じることが判明しました。
入力のさまざまな部分を使用します。
これまでのところ、この問題は主に単一の重要な情報を含む設定でのみ考慮されており、複数の必要な情報が入力に分散されている場合に何が起こるかという疑問が生じています。
ここでは、マルチホップ質問応答設定における「途中で失われた」問題の影響を実証します。この問題では、切断されたドキュメントに対する複数の推論「ホップ」が必要です。また、パフォーマンスが低下するのは、
コンテキストの端からの情報の距離だけでなく、情報間の距離も測定します。
さらに、ナレッジ グラフのトリプル抽出と要約によって余分なドキュメント コンテンツを削減し、思考連鎖プロンプトを使用してモデルにより徹底的な推論を促すことで問題を軽減する手段を実験します。

要約(オリジナル)

Previous work finds that recent long-context language models fail to make equal use of information in the middle of their inputs, preferring pieces of information located at the tail ends which creates an undue bias in situations where we would like models to be equally capable of using different parts of the input. Thus far, the problem has mainly only been considered in settings with single pieces of critical information, leading us to question what happens when multiple necessary pieces of information are spread out over the inputs. Here, we demonstrate the effects of the ‘lost in the middle’ problem in the multi-hop question answering setting — in which multiple reasoning ‘hops’ over disconnected documents are required — and show that performance degrades not only with respect to the distance of information from the edges of the context, but also between pieces of information. Additionally, we experiment with means of alleviating the problem by reducing superfluous document contents through knowledge graph triple extraction and summarization, and prompting models to reason more thoroughly using chain-of-thought prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google