Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge

要約

言語モデル (LM) は膨大な量の事実の知識を記憶し、さまざまなタスクや領域にわたって強力なパフォーマンスを発揮します。
ただし、ドメイン固有のアプリケーションなど、あまり普及していない、または頻度の低い概念やエンティティを扱うと、パフォーマンスが低下することが観察されています。
低頻度のトピックで LM のパフォーマンスを向上させる 2 つの著名なアプローチは、検索拡張生成 (RAG) と合成データに対する微調整 (FT) です。
このペーパーでは、質問応答タスクで低頻度エンティティを処理する際の LM のカスタマイズに対する RAG と FT の影響を調査し、評価します。
私たちは、さまざまなサイズとタイプの 12 個の LM と、さまざまな微調整、データ拡張、および検索モデルについて広範な実験を実施しています。
私たちの調査結果は、FT がさまざまな人気のエンティティ全体でパフォーマンスを向上させる一方で、特に最も人気のない事実知識に関しては、RAG が FT を大幅に上回っていることを示しています。
さらに、RAG と FT の両方のアプローチの成功は、検索およびデータ拡張技術を改善することによって増幅されます。
微調整は小規模な LM にとって有益ではありますが、多大なリソースを必要とします。
この問題に対処するために、微調整ベースのアプローチの有効性を上回る新しい Stimulus RAG アプローチを提案します。これにより、あまり一般的ではない事実の知識で LM を強化するための、コストのかかるデータ増強と微調整のステップが不要になります。
コードは \url{https://github.com/informagi/RAGvsFT} で入手できます。

要約(オリジナル)

Language Models (LMs) memorize a vast amount of factual knowledge, exhibiting strong performance across diverse tasks and domains. However, it has been observed that the performance diminishes when dealing with less-popular or low-frequency concepts and entities, for example in domain specific applications. The two prominent approaches to enhance the performance of LMs on low-frequent topics are: Retrieval Augmented Generation (RAG) and fine-tuning (FT) over synthetic data. This paper explores and evaluates the impact of RAG and FT on customizing LMs in handling low-frequency entities on question answering tasks. We conduct extensive experiments on twelve LMs of varying size and type and different fine tuning, data augmentation, and retrieval models. Our findings indicate that while FT boosts the performance across entities of varying popularity, RAG surpasses FT by a large margin particularly for least popular factual knowledge. Additionally, the success of both RAG and FT approaches is amplified by improving retrieval and data augmentation techniques. Fine tuning, while beneficial for small LMs, requires extensive resources. To address this issue, we propose the new Stimulus RAG approach that surpasses the effectiveness of fine tuning based approaches, thereby eliminating the need for the costly data augmentation and fine tuning step for enriching LMs with less popular factual knowledge. The code is available at \url{https://github.com/informagi/RAGvsFT}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google