Retrieval meets Long Context Large Language Models

要約

最近、大規模言語モデル (LLM) のコンテキスト ウィンドウを拡張することが一般的になってきていますが、検索によって LLM を拡張するソリューションは何年も前から存在しています。
自然な疑問は次のとおりです。i) 検索拡張と長いコンテキスト ウィンドウ、どちらが下流タスクに適していますか?
ii) 両方の方法を組み合わせて、両方の長所を最大限に活用できますか?
この研究では、2 つの最先端の事前トレーニング済み LLM、つまり独自の 43B GPT と Llama2-70B を使用して両方のソリューションを研究することで、これらの質問に答えます。
おそらく驚くべきことに、生成時に単純な検索拡張を使用する 4K コンテキスト ウィンドウを備えた LLM は、長いコンテキスト タスクでの位置補間を介して、はるかに少ない計算量で、16K コンテキスト ウィンドウを備えた微調整された LLM と同等のパフォーマンスを達成できることがわかりました。
さらに重要なことは、拡張されたコンテキスト ウィンドウのサイズに関係なく、取得によって LLM のパフォーマンスが大幅に向上することを実証したことです。
当社の最高のモデルである、32K コンテキスト ウィンドウを備えた検索強化 Llama2-70B は、質問応答、クエリベースの要約、およびコンテキスト内の少数のタスクを含む 9 つの長いコンテキスト タスクの平均スコアの点で、GPT-3.5-turbo-16k および Davinci003 を上回っています。
学習タスクをショットします。
また、非検索の Llama2-70B-32k ベースラインよりもわずかに性能が優れており、生成もはるかに高速です。
私たちの研究は、実務家に LLM の検索拡張と長いコンテキスト拡張の​​選択に関する一般的な洞察を提供します。

要約(オリジナル)

Extending the context window of large language models (LLMs) is getting popular recently, while the solution of augmenting LLMs with retrieval has existed for years. The natural questions are: i) Retrieval-augmentation versus long context window, which one is better for downstream tasks? ii) Can both methods be combined to get the best of both worlds? In this work, we answer these questions by studying both solutions using two state-of-the-art pretrained LLMs, i.e., a proprietary 43B GPT and Llama2-70B. Perhaps surprisingly, we find that LLM with 4K context window using simple retrieval-augmentation at generation can achieve comparable performance to finetuned LLM with 16K context window via positional interpolation on long context tasks, while taking much less computation. More importantly, we demonstrate that retrieval can significantly improve the performance of LLMs regardless of their extended context window sizes. Our best model, retrieval-augmented Llama2-70B with 32K context window, outperforms GPT-3.5-turbo-16k and Davinci003 in terms of average score on nine long context tasks including question answering, query-based summarization, and in-context few-shot learning tasks. It also outperforms its non-retrieval Llama2-70B-32k baseline by a margin, while being much faster at generation. Our study provides general insights on the choice of retrieval-augmentation versus long context extension of LLM for practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google