Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering

要約

大規模言語モデル (LLM) には以前よりも長いテキスト入力機能が備わっていますが、長いコンテキストで正しい情報を探すのに苦労しています。
「真ん中が失われる」問題は、ほとんどの LLM にとって課題であり、正しい情報が真ん中にある場合に精度が劇的に低下することを指します。
この重要な問題を克服するために、この文書では、注意強化マルチドキュメント QA (ASM QA) と呼ばれる特別に設計されたタスクを通じて、長いコンテキストにおける LLM の情報検索および反映能力を強化することを提案します。
これらのタスクに続いて、私たちのモデルは、必要な情報にさらに正確に焦点を当てることに優れています。
実験結果では、Multi-doc QA およびその他のベンチマークが大幅に向上し、最新のモデルよりもシャッフル設定で 13.7% の絶対ゲイン、パッセージ検索タスクで 21.5% 優れていることが示されました。
コミュニティでの関連研究を促進するために、モデル Ziya-Reader をリリースします。

要約(オリジナル)

While large language models (LLMs) are equipped with longer text input capabilities than before, they are struggling to seek correct information in long contexts. The ‘lost in the middle’ problem challenges most LLMs, referring to the dramatic decline in accuracy when correct information is located in the middle. To overcome this crucial issue, this paper proposes to enhance the information searching and reflection ability of LLMs in long contexts via specially designed tasks called Attention Strengthening Multi-doc QA (ASM QA). Following these tasks, our model excels in focusing more precisely on the desired information. Experimental results show substantial improvement in Multi-doc QA and other benchmarks, superior to state-of-the-art models by 13.7% absolute gain in shuffled settings, by 21.5% in passage retrieval task. We release our model, Ziya-Reader to promote related research in the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google