Active Retrieval Augmented Generation

要約

大規模な言語モデル（LM）は、言語を理解し生成する能力が高いにもかかわらず、幻覚を見たり、事実と異なる出力を作成したりする傾向がある。そこで、外部の知識資源から情報を取得することで、LMを拡張することが有望な解決策となります。既存の検索機能付きLMの多くは、入力に基づき一度だけ情報を検索する「検索と生成」の仕組みを採用している。しかし、長文を生成するような一般的なシナリオでは、この方法では限界があり、生成プロセスを通じて継続的に情報を収集することが重要である。これまでにも、出力生成中に何度も情報を取得する試みはいくつかあったが、その多くは、前の文脈をクエリとして一定時間ごとに文書を取得するものであった。本研究では、アクティブ検索拡張生成の一般的な見方を提供し、生成の過程でいつ、何を検索するかを能動的に決定する手法を提案する。FLAREは、文の予測から将来の内容を予測し、その内容をクエリとして利用し、信頼度の低い文が含まれる場合は関連文書を検索し、文を再生する汎用的な検索拡張生成手法であり、FLAREを提案する。FLAREをベースラインとともに、4つの長文知識集約型生成タスク/データセットで包括的にテストした。FLAREは全てのタスクにおいて優れた、あるいは競争力のある性能を達成し、我々の手法の有効性を実証した。コードとデータセットは https://github.com/jzbjyb/FLARE で公開されています。

要約(オリジナル)

Despite the remarkable ability of large language models (LMs) to comprehend and generate language, they have a tendency to hallucinate and create factually inaccurate output. Augmenting LMs by retrieving information from external knowledge resources is one promising solution. Most existing retrieval-augmented LMs employ a retrieve-and-generate setup that only retrieves information once based on the input. This is limiting, however, in more general scenarios involving generation of long texts, where continually gathering information throughout the generation process is essential. There have been some past efforts to retrieve information multiple times while generating outputs, which mostly retrieve documents at fixed intervals using the previous context as queries. In this work, we provide a generalized view of active retrieval augmented generation, methods that actively decide when and what to retrieve across the course of the generation. We propose Forward-Looking Active REtrieval augmented generation (FLARE), a generic retrieval-augmented generation method which iteratively uses a prediction of the upcoming sentence to anticipate future content, which is then utilized as a query to retrieve relevant documents to regenerate the sentence if it contains low-confidence tokens. We test FLARE along with baselines comprehensively over 4 long-form knowledge-intensive generation tasks/datasets. FLARE achieves superior or competitive performance on all tasks, demonstrating the effectiveness of our method. Code and datasets are available at https://github.com/jzbjyb/FLARE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL