FocusLLM: Scaling LLM’s Context by Parallel Decoding

要約

LLM に長いコンテキストからの有用な情報を利用できるようにすることは、多くの下流アプリケーションにとって重要です。
ただし、従来のトランスフォーマー アーキテクチャで長いコンテキスト長を実現するには、相当なトレーニングと推論リソースが必要です。
このペーパーでは、デコーダ専用 LLM のコンテキスト長を拡張するように設計されたフレームワークである FocusLLM を紹介し、モデルが非常に長いシーケンスから関連情報に焦点を当てることができるようにします。
FocusLLM は、注意が散漫になる問題を軽減するために、モデルの元のコンテキストの長さに基づいて長いテキスト入力をチャンクに分割して処理します。
次に、新しい並列デコード メカニズムに基づいて各チャンクから重要な情報を抽出するためのプロンプトとしてローカル コンテキストを各チャンクに追加し、最終的に抽出された情報をローカル コンテキストに統合します。
FocusLLM は、優れたトレーニング効率と多用途性で際立っています。以前の方法よりもはるかに低いトレーニング コストで 8K 入力長でトレーニングされ、下流の長いコンテキストのタスク全体で優れたパフォーマンスを示し、広範囲にわたる長いテキストを処理する場合でも強力な言語モデリング能力を維持します。
40万トークン。
私たちのコードは https://github.com/leezythu/FocusLLM で入手できます。

要約(オリジナル)

Empowering LLMs with the ability to utilize useful information from a long context is crucial for many downstream applications. However, achieving long context lengths with the conventional transformer architecture requires substantial training and inference resources. In this paper, we present FocusLLM, a framework designed to extend the context length of any decoder-only LLM, enabling the model to focus on relevant information from very long sequences. FocusLLM processes long text inputs by dividing them into chunks based on the model’s original context length to alleviate the issue of attention distraction. Then, it appends the local context to each chunk as a prompt to extract essential information from each chunk based on a novel parallel decoding mechanism, and ultimately integrates the extracted information into the local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream long-context tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google