Lost in the Middle: How Language Models Use Long Contexts

要約

最近の言語モデルには長いコンテキストを入力として受け取る機能がありますが、長いコンテキストをどのように適切に使用するかについてはほとんど知られていません。
入力コンテキスト内で関連情報を特定する必要がある 2 つのタスク、つまり複数ドキュメントの質問応答とキー値の取得に関する言語モデルのパフォーマンスを分析します。
多くの場合、関連情報が入力コンテキストの最初または最後に発生する場合にパフォーマンスが最高になりますが、モデルが長いコンテキストの途中で関連情報にアクセスする必要がある場合には大幅に低下することがわかりました。
さらに、入力コンテキストが長くなると、たとえ明示的に長いコンテキスト モデルであっても、パフォーマンスが大幅に低下します。
私たちの分析により、言語モデルが入力コンテキストをどのように使用するかをより深く理解できるようになり、将来のロングコンテキスト モデルに新しい評価プロトコルが提供されます。

要約(オリジナル)

While recent language models have the ability to take long contexts as input, relatively little is known about how well they use longer context. We analyze language model performance on two tasks that require identifying relevant information within their input contexts: multi-document question answering and key-value retrieval. We find that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts. Furthermore, performance substantially decreases as the input context grows longer, even for explicitly long-context models. Our analysis provides a better understanding of how language models use their input context and provides new evaluation protocols for future long-context models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google