Attention Overflow: Language Model Input Blur during Long-Context Missing Items Recommendation

要約

大規模言語モデル (LLM) は、プロンプトにリストされている項目に欠落している要素を提案することができ、リストの完成やユーザーの履歴に基づく推奨に使用できます。
ただし、入力リストにすでに含まれている項目を提案し始めるため、項目が多すぎるとパフォーマンスが低下します。
これは、2024 年半ばの主力 LLM の約 100 アイテムで発生します。
私たちはこの現象を合成問題 (シャッフルされた整数の指定範囲内で欠落している数値を見つけるなど) と現実的な映画推奨シナリオの両方で評価します。
繰り返しを防ぐにはすべての項目に同時に注意する必要があるため、この問題を \textit{注意オーバーフロー} と呼びます。
反復ループはこの問題を軽減できますが、そのコストは反復率とともに増加し、長い入力から新規性を導き出す言語モデルの能力に影響を与えます。

要約(オリジナル)

Large language models (LLMs) can suggest missing elements from items listed in a prompt, which can be used for list completion or recommendations based on users’ history. However, their performance degrades when presented with too many items, as they start to suggest items already included in the input list. This occurs at around 100 items for mid-2024 flagship LLMs. We evaluate this phenomenon on both synthetic problems (e.g., finding missing numbers in a given range of shuffled integers) and realistic movie recommendation scenarios. We refer to this issue as \textit{attention overflow}, as preventing repetition requires attending to all items simultaneously. Although iterative loops can mitigate this problem, their costs increase with the repetition rate, affecting the language models’ ability to derive novelty from lengthy inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google