Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning

要約

情報技術の急速な進歩とデータ量の急激な増加という現代の状況において、言語モデルは、動的で進化し続ける情報環境を効果的にナビゲートして新しい知識をリアルタイムで更新して適応させるという重大な課題に直面しています。
この研究では、複数の革新メカニズムを備えた既存の検索拡張生成 (RAG) モデルに基づいたオンライン更新方法が提案されています。
まず、動的メモリを使用して新たなデータ サンプルをキャプチャし、調整可能な知識蒸留戦略を通じてそれらをコア モデルに徐々に統合します。
同時に、階層型インデックス作成と多層ゲート機構が取得モジュールに導入され、取得されるコンテンツがより的を絞った正確なものになるようにします。
最後に、生成段階でさまざまな種類の入力に対して多段階ネットワーク構造が確立され、各段階の中間表現に対してクロスアテンションのマッチングとスクリーニングが実行され、新旧の知識の効果的な統合と反復更新が確実に行われます。
。
実験結果は、提案された方法が知識の保持と推論の精度の点で既存の主流の比較モデルよりも優れていることを示しています。

要約(オリジナル)

In the contemporary context of rapid advancements in information technology and the exponential growth of data volume, language models are confronted with significant challenges in effectively navigating the dynamic and ever-evolving information landscape to update and adapt to novel knowledge in real time. In this work, an online update method is proposed, which is based on the existing Retrieval Enhanced Generation (RAG) model with multiple innovation mechanisms. Firstly, the dynamic memory is used to capture the emerging data samples, and then gradually integrate them into the core model through a tunable knowledge distillation strategy. At the same time, hierarchical indexing and multi-layer gating mechanism are introduced into the retrieval module to ensure that the retrieved content is more targeted and accurate. Finally, a multi-stage network structure is established for different types of inputs in the generation stage, and cross-attention matching and screening are carried out on the intermediate representations of each stage to ensure the effective integration and iterative update of new and old knowledge. Experimental results show that the proposed method is better than the existing mainstream comparison models in terms of knowledge retention and inference accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google