Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs

要約

大規模言語モデル (LLM) は、さまざまなドメインにわたる多様な質問に答える能力によって証明されるように、事前トレーニングされた重みの範囲内で膨大な量の事実情報をカプセル化します。
ただし、この知識は本質的に限られており、トレーニング データの特性に大きく依存します。
したがって、外部データセットを使用して新しい情報を組み込んだり、以前に確認された情報に基づいて LLM の機能を改良したりすることは、大きな課題となります。
この研究では、教師なし微調整と検索拡張生成 (RAG) という 2 つの一般的なアプローチを比較します。
私たちは、さまざまなトピックにわたるさまざまな知識集約型タスクについて、両方のアプローチを評価します。
私たちの調査結果では、教師なし微調整はある程度の改善をもたらしますが、トレーニング中に遭遇した既存の知識とまったく新しい知識の両方において、RAG が一貫してそれを上回っていることが明らかになりました。
さらに、LLM は教師なしの微調整を通じて新しい事実情報を学習するのに苦労しており、トレーニング中に同じ事実の多数のバリエーションにさらすことでこの問題を軽減できる可能性があることがわかりました。

要約(オリジナル)

Large language models (LLMs) encapsulate a vast amount of factual information within their pre-trained weights, as evidenced by their ability to answer diverse questions across different domains. However, this knowledge is inherently limited, relying heavily on the characteristics of the training data. Consequently, using external datasets to incorporate new information or refine the capabilities of LLMs on previously seen information poses a significant challenge. In this study, we compare two common approaches: unsupervised fine-tuning and retrieval-augmented generation (RAG). We evaluate both approaches on a variety of knowledge-intensive tasks across different topics. Our findings reveal that while unsupervised fine-tuning offers some improvement, RAG consistently outperforms it, both for existing knowledge encountered during training and entirely new knowledge. Moreover, we find that LLMs struggle to learn new factual information through unsupervised fine-tuning, and that exposing them to numerous variations of the same fact during training could alleviate this problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google