FocusLLM: Precise Understanding of Long Context by Dynamic Condensing

要約

LLM に長いコンテキストを正確に理解できるようにすることは、多くの下流アプリケーションにとって重要です。
ただし、従来のトランスフォーマー アーキテクチャで長いコンテキストを処理するには、相当なトレーニングと推論リソースが必要です。
既存のコンテキスト圧縮方法では、圧縮プロセスでかなりの量の情報が失われるため、完全なコンテキストを正確に理解することはできません。
これらの問題に対処するために、デコーダ専用 LLM の固定コンテキスト長を拡張するように設計されたフレームワークである FocusLLM を紹介します。これにより、モデルは非常に長いシーケンスからの関連情報に焦点を当てることができます。
FocusLLM は、まず、モデルの元のコンテキストの長さに基づいて、長いテキスト入力をチャンクに分割します。
次に、動的圧縮プロセスを使用して、各チャンクから重要な情報を抽出します。
最終的に、FocusLLM は、新しい並列デコード メカニズムを通じて、抽出された情報をローカル コンテキストに統合できます。
FocusLLM は、優れたトレーニング効率と多用途性で際立っています。8K の入力長でトレーニングされ、以前の方法よりもはるかに少ないトレーニング コストで、FocusLLM は下流タスク全体で優れたパフォーマンスを示し、最大 400K トークンを含む広範な長いテキストを処理する場合でも強力な言語モデリング能力を維持します。
。
私たちのコードは https://github.com/leezythu/FocusLLM で入手できます。

要約(オリジナル)

Empowering LLMs with the ability to precisely understand long contexts is crucial for many downstream applications. However, handling long contexts with conventional transformer architecture requires substantial training and inference resources. Existing context condensing methods cannot accurately understand the full context, as there is a considerable amount of information loss in the condensing process. To address these issues, we present FocusLLM, a framework designed to extend the fixed context length of any decoder-only LLM, allowing the model to focus on relevant information from very long sequences. FocusLLM first divides long text input into chunks based on the model’s original context length. It then employs the dynamic condensing process to distill crucial information from each chunk. Ultimately, through the novel parallel decoding mechanism, FocusLLM can integrate the extracted information into its local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length and with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google