Parametric Retrieval Augmented Generation

要約

検索された生成（RAG）技術は、幻覚、時代遅れの知識、ドメイン適応などの問題に対処することにより、大規模な言語モデル（LLM）の信頼性を高めるための有望なソリューションとして浮上しています。
特に、既存のRAGメソッドは、外部コーパスまたはデータベースから取得した関連ドキュメントをLLMSの入力に追加して、それらの生成プロセスを導きます。
このアプローチはシンプルで効果的ですが、固有の制限があります。
まず、関連するドキュメントのコンテキストの長さと数を増やすと、特に複雑な推論タスクで、より高い計算オーバーヘッドと劣化したパフォーマンスにつながる可能性があります。
さらに重要なことは、文脈内の知識インジェクションは主に入力レベルで機能しますが、LLMSは内部知識をパラメーターに保存します。
このギャップは、コンテキスト内のメソッドの容量を根本的に制限します。
この目的のために、ドキュメントパラメーター化を介してLLMのフィードフォワードネットワーク（FFN）のパラメーターに外部知識を直接統合する新しいRAGパラダイムであるパラメトリック検索の高性化生成（パラメトリックRAG）を紹介します。
このアプローチは、LLMSの入力コンテキストに複数のドキュメントを注入する必要性を排除することにより、オンライン計算コストを節約するだけでなく、LLMのパラメトリックナレッジスペースへの外部知識の統合を深くします。
実験結果は、パラメトリックラグがLLMの知識増強の有効性と効率の両方を大幅に向上させることを示しています。
また、コンテキスト内のRAGメソッドと組み合わせて、さらに優れたパフォーマンスを実現できます。
次の匿名化されたgithubリンクには、すべてのコード、データ、モデルをオープンソーリングしました：https：//github.com/oneal2000/prag

要約(オリジナル)

Retrieval-augmented generation (RAG) techniques have emerged as a promising solution to enhance the reliability of large language models (LLMs) by addressing issues like hallucinations, outdated knowledge, and domain adaptation. In particular, existing RAG methods append relevant documents retrieved from external corpus or databases to the input of LLMs to guide their generation process, which we refer to as the in-context knowledge injection method. While this approach is simple and often effective, it has inherent limitations. Firstly, increasing the context length and number of relevant documents can lead to higher computational overhead and degraded performance, especially in complex reasoning tasks. More importantly, in-context knowledge injection operates primarily at the input level, but LLMs store their internal knowledge in their parameters. This gap fundamentally limits the capacity of in-context methods. To this end, we introduce Parametric retrieval-augmented generation (Parametric RAG), a new RAG paradigm that integrates external knowledge directly into the parameters of feed-forward networks (FFN) of an LLM through document parameterization. This approach not only saves online computational costs by eliminating the need to inject multiple documents into the LLMs’ input context, but also deepens the integration of external knowledge into the parametric knowledge space of the LLM. Experimental results demonstrate that Parametric RAG substantially enhances both the effectiveness and efficiency of knowledge augmentation in LLMs. Also, it can be combined with in-context RAG methods to achieve even better performance. We have open-sourced all the code, data, and models in the following anonymized GitHub link: https://github.com/oneal2000/PRAG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google