Online Adaptation of Language Models with a Memory of Amortized Contexts

要約

情報の生成と普及が速いため、大規模言語モデル (LLM) は、莫大な開発コストにもかかわらず、すぐに時代遅れになってしまいます。
モデルを常に最新の状態に保つという重要なニーズに対処するために、実世界のアプリケーションに LLM を利用する際の重要なツールとしてオンライン学習が登場しました。
ただし、目に見えない文書のコーパスが拡大し続けていることと、最新の LLM のパラメーター空間が大きいことを考慮すると、効率的な適応が不可欠です。
これらの課題に対処するために、私たちは強力な知識保持を備えた LLM のための効率的かつ効果的なオンライン適応フレームワークである Memory of Amortized Contexts (MAC) を提案します。
私たちは、新しい文書から情報を圧縮して抽出し、メモリ バンクに保存されたコンパクトな変調にするための特徴抽出およびメモリ拡張アプローチを提案します。
質問に答えるとき、モデルはこのメモリ バンクに注目し、そこから関連する知識を抽出します。
有益な変調を効率的な方法で学習するために、アモチゼーションベースのメタ学習を利用します。これにより、本来必要な最適化プロセスがエンコーダーの 1 回の順方向パスで置き換えられます。
その後、質問に基づいて条件付けすることで、選択したドキュメントを選択し、単一のモジュレーションに集約する方法を学習します。これにより、さらなる勾配更新を必要とせずに、テスト中に凍結された言語モデルを適応させることができます。
私たちの実験では、オンライン適応パフォーマンス、時間、メモリ効率など、さまざまな側面で MAC の優位性が実証されました。
さらに、MAC を検索拡張世代 (RAG) などの一般的な代替手段と組み合わせてパフォーマンスを向上させる方法を示します。
コードはhttps://github.com/jihoontack/MACから入手できます。

要約(オリジナル)

Due to the rapid generation and dissemination of information, large language models (LLMs) quickly run out of date despite enormous development costs. To address the crucial need to keep models updated, online learning has emerged as a critical tool when utilizing LLMs for real-world applications. However, given the ever-expanding corpus of unseen documents and the large parameter space of modern LLMs, efficient adaptation is essential. To address these challenges, we propose Memory of Amortized Contexts (MAC), an efficient and effective online adaptation framework for LLMs with strong knowledge retention. We propose a feature extraction and memory-augmentation approach to compress and extract information from new documents into compact modulations stored in a memory bank. When answering questions, our model attends to and extracts relevant knowledge from this memory bank. To learn informative modulations in an efficient manner, we utilize amortization-based meta-learning, which substitutes an otherwise required optimization process with a single forward pass of the encoder. Subsequently, we learn to choose from and aggregate selected documents into a single modulation by conditioning on the question, allowing us to adapt a frozen language model during test time without requiring further gradient updates. Our experiment demonstrates the superiority of MAC in multiple aspects, including online adaptation performance, time, and memory efficiency. In addition, we show how MAC can be combined with and improve the performance of popular alternatives such as retrieval augmented generations (RAGs). Code is available at: https://github.com/jihoontack/MAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google