Reliable, Adaptable, and Attributable Language Models with Retrieval

要約

膨大な量の Web データでトレーニングされたパラメトリック言語モデル (LM) は、驚くべき柔軟性と機能を示します。
ただし、幻覚、新しいデータ配布への適応の難しさ、検証可能性の欠如などの現実的な課題に依然として直面しています。
この意見書では、次世代の LM としてパラメトリック LM に代わる検索拡張 LM を提唱します。
推論中に大規模なデータストアを組み込むことにより、検索拡張 LM の信頼性、適応性、帰属性が向上します。
検索拡張 LM は、その可能性にもかかわらず、いくつかの障害があるため、まだ広く採用されていません。具体的には、現在の検索拡張 LM は、質問応答などの知識集約的なタスクを超えて有用なテキストを活用するのに苦労しており、検索と LM コンポーネント間の相互作用が限られており、
スケーリングのためのインフラストラクチャが不足しています。
これらに対処するために、汎用の検索拡張 LM を開発するためのロードマップを提案します。
これには、データストアと取得者の再検討、改善された取得者と LM の相互作用を備えたパイプラインの探索、効率的なトレーニングと推論のためのインフラストラクチャへの多額の投資が含まれます。

要約(オリジナル)

Parametric language models (LMs), which are trained on vast amounts of web data, exhibit remarkable flexibility and capability. However, they still face practical challenges such as hallucinations, difficulty in adapting to new data distributions, and a lack of verifiability. In this position paper, we advocate for retrieval-augmented LMs to replace parametric LMs as the next generation of LMs. By incorporating large-scale datastores during inference, retrieval-augmented LMs can be more reliable, adaptable, and attributable. Despite their potential, retrieval-augmented LMs have yet to be widely adopted due to several obstacles: specifically, current retrieval-augmented LMs struggle to leverage helpful text beyond knowledge-intensive tasks such as question answering, have limited interaction between retrieval and LM components, and lack the infrastructure for scaling. To address these, we propose a roadmap for developing general-purpose retrieval-augmented LMs. This involves a reconsideration of datastores and retrievers, the exploration of pipelines with improved retriever-LM interaction, and significant investment in infrastructure for efficient training and inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google