RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation

要約

大規模言語モデル (LLM) は優れた生成能力を示しますが、幻覚に悩まされることがよくあります。
検索拡張生成 (RAG) は、外部の知識を組み込むことで効果的なソリューションを提供しますが、既存の方法には依然としていくつかの制限があります。それは、個別の取得の追加導入コスト、取得されたテキスト チャンクからの冗長な入力トークン、取得と生成の共同最適化の欠如などです。
これらの問題に対処するために、私たちは、検索と生成を単一の一貫したプロセスに統合する統合フレームワークである \textbf{RetroLLM} を提案します。これにより、LLM は、制約されたデコードを使用してコーパスから詳細な証拠を直接生成できます。
さらに、制約付き証拠生成のプロセスにおける誤った枝刈りを軽減するために、(1) 階層型 FM-Index 制約を導入します。これは、証拠生成前に関連文書のサブセットを識別するためのコーパス制約付き手がかりを生成し、無関係なデコード空間を削減します。
(2) 証拠の精度を向上させるために将来のシーケンスの関連性を考慮する、将来を見据えた制約付きデコード戦略。
5 つのオープンドメイン QA データセットに対する広範な実験により、ドメイン内タスクとドメイン外タスクの両方で RetroLLM の優れたパフォーマンスが実証されました。
コードは \url{https://github.com/sunnynexus/RetroLLM} で入手できます。

要約(オリジナル)

Large language models (LLMs) exhibit remarkable generative capabilities but often suffer from hallucinations. Retrieval-augmented generation (RAG) offers an effective solution by incorporating external knowledge, but existing methods still face several limitations: additional deployment costs of separate retrievers, redundant input tokens from retrieved text chunks, and the lack of joint optimization of retrieval and generation. To address these issues, we propose \textbf{RetroLLM}, a unified framework that integrates retrieval and generation into a single, cohesive process, enabling LLMs to directly generate fine-grained evidence from the corpus with constrained decoding. Moreover, to mitigate false pruning in the process of constrained evidence generation, we introduce (1) hierarchical FM-Index constraints, which generate corpus-constrained clues to identify a subset of relevant documents before evidence generation, reducing irrelevant decoding space; and (2) a forward-looking constrained decoding strategy, which considers the relevance of future sequences to improve evidence accuracy. Extensive experiments on five open-domain QA datasets demonstrate RetroLLM’s superior performance across both in-domain and out-of-domain tasks. The code is available at \url{https://github.com/sunnynexus/RetroLLM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google