Fine Tuning vs. Retrieval Augmented Generation for Less Popular Knowledge

要約

大規模言語モデル (LLM) は膨大な量の事実の知識を記憶し、さまざまなタスクやドメインにわたって強力なパフォーマンスを発揮します。
ただし、ドメイン固有のアプリケーションなど、あまり普及していない、または頻度の低い概念やエンティティを扱うと、パフォーマンスが低下することが観察されています。
低頻度のトピックで LLM のパフォーマンスを向上させる 2 つの著名なアプローチは、検索拡張生成 (RAG) と合成データに対する微調整 (FT) です。
このペーパーでは、質問応答タスクで低頻度エンティティを処理する際の LLM のカスタマイズに対する RAG と FT の影響を調査し、評価します。
私たちの調査結果は、FT がさまざまな人気のエンティティ、特に最も人気の高いグループと最も人気のないグループ全体でパフォーマンスを大幅に向上させる一方で、RAG が他の方法を上回っていることを示しています。
さらに、RAG と FT の両方のアプローチの成功は、検索およびデータ拡張技術の進歩によって増幅されます。
データとコードは https://github.com/informagi/RAGvsFT でリリースされています。

要約(オリジナル)

Large language models (LLMs) memorize a vast amount of factual knowledge, exhibiting strong performance across diverse tasks and domains. However, it has been observed that the performance diminishes when dealing with less-popular or low-frequency concepts and entities, for example in domain specific applications. The two prominent approaches to enhance the performance of LLMs on low-frequent topics are: Retrieval Augmented Generation (RAG) and fine-tuning (FT) over synthetic data. This paper explores and evaluates the impact of RAG and FT on customizing LLMs in handling low-frequency entities on question answering task. Our findings indicate that FT significantly boosts the performance across entities of varying popularity, especially in the most and least popular groups, while RAG surpasses other methods. Additionally, the success of both RAG and FT approaches is amplified by advancements in retrieval and data augmentation techniques. We release our data and code at https://github.com/informagi/RAGvsFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google