Estimating Optimal Context Length for Hybrid Retrieval-augmented Multi-document Summarization

要約

言語モデルのロングコンテキスト推論能力の最近の進歩により、大規模なマルチドキュメントの要約における興味深いアプリケーションにつながりました。
ただし、以前の作業では、これらの長いコンテストモデルがクレームされたコンテキストウィンドウで効果的ではないことが示されています。
この目的のために、検索された高級システムは効率的かつ効果的な代替手段を提供します。
ただし、そのパフォーマンスは、検索コンテキストの長さの選択に非常に敏感です。
この作業では、検索されたシステムと最近の言語モデルでサポートされている長いコンテキストウィンドウを組み合わせたハイブリッドメソッドを提示します。
私たちの方法では、最初に、レトリバー、サマラライザー、およびデータセットの関数として最適な検索長を推定します。
データセットのランダムにサンプリングされたサブセットでは、LLMSのパネルを使用して銀の参照のプールを生成します。
これらの銀の参照を使用して、特定のRAGシステム構成の最適なコンテキスト長を推定します。
マルチドキュメント要約タスクに関する結果は、モデルクラスとサイズにわたるメソッドの有効性を示しています。
RulerやHelmetなどの強力な長いコンテキストベンチマークからの長さの推定値と比較します。
また、分析は、非常に長いコンテキストLMSの推定方法の有効性と、LMSの新しいクラスへの一般化を強調しています。

要約(オリジナル)

Recent advances in long-context reasoning abilities of language models led to interesting applications in large-scale multi-document summarization. However, prior work has shown that these long-context models are not effective at their claimed context windows. To this end, retrieval-augmented systems provide an efficient and effective alternative. However, their performance can be highly sensitive to the choice of retrieval context length. In this work, we present a hybrid method that combines retrieval-augmented systems with long-context windows supported by recent language models. Our method first estimates the optimal retrieval length as a function of the retriever, summarizer, and dataset. On a randomly sampled subset of the dataset, we use a panel of LLMs to generate a pool of silver references. We use these silver references to estimate the optimal context length for a given RAG system configuration. Our results on the multi-document summarization task showcase the effectiveness of our method across model classes and sizes. We compare against length estimates from strong long-context benchmarks such as RULER and HELMET. Our analysis also highlights the effectiveness of our estimation method for very long-context LMs and its generalization to new classes of LMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google