When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories

要約

大規模言語モデル（LM）は、様々なタスクで優れた性能を発揮するにもかかわらず、豊富な世界知識を必要とするタスクでは依然として苦戦を強いられている。本論文では、14kの質問を含む新しいオープンドメインQAデータセットであるPopQAを用いて、10種類のモデルと4種類の拡張手法による大規模な知識プロービング実験を行うことで、LMが事実知識を記憶する際の強みと限界を理解することを目的とする。その結果、LMはあまり一般的でない事実知識に苦戦し、スケーリングはロングテールにおける事実知識の暗記を顕著に改善できないことがわかった。また、検索を補強したLMは、桁違いの大きさのLMを大きく凌駕し、一方、検索を補強しないLMは、人気の高いエンティティに関する問題では競争力を維持することを示す。これらの知見に基づき、我々は強力で効率的な検索補強型LMのための、シンプルかつ効果的な手法を考案した。実験の結果、これにより推論コストを削減しつつ、モデルの性能が大幅に向上することが示された。

要約(オリジナル)

Despite their impressive performance on diverse tasks, large language models (LMs) still struggle with tasks requiring rich world knowledge, implying the limitations of relying solely on their parameters to encode a wealth of world knowledge. This paper aims to understand LMs’ strengths and limitations in memorizing factual knowledge, by conducting large-scale knowledge probing experiments of 10 models and 4 augmentation methods on PopQA, our new open-domain QA dataset with 14k questions. We find that LMs struggle with less popular factual knowledge, and that scaling fails to appreciably improve memorization of factual knowledge in the long tail. We then show that retrieval-augmented LMs largely outperform orders of magnitude larger LMs, while unassisted LMs remain competitive in questions about high-popularity entities. Based on those findings, we devise a simple, yet effective, method for powerful and efficient retrieval-augmented LMs, which retrieves non-parametric memories only when necessary. Experimental results show that this significantly improves models’ performance while reducing the inference costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL