LLatrieval: LLM-Verified Retrieval for Verifiable Generation

要約

検証可能な生成は、大規模言語モデル (LLM) にサポート ドキュメントを含むテキストを生成させることを目的としています。これにより、ユーザーは柔軟に答えを検証でき、LLM の出力の信頼性が高まります。
検索は検証可能な生成において重要な役割を果たします。
具体的には、取得された文書は、LLM が正しい答えを生成するのに役立つ知識を補足するだけでなく、ユーザーが LLM の出力を検証するための裏付け証拠としても機能します。
ただし、広く使用されているレトリバーがパイプライン全体のボトルネックとなり、全体的なパフォーマンスが制限されます。
これらの機能は通常、LLM よりも劣ります。これは、大規模な言語モデルよりもパラメーターがはるかに少ないことが多く、LLM のサイズに合わせて適切に拡張できることが実証されていないためです。
レトリーバーが裏付けとなる文書を正しく見つけられなかった場合、LLM は正しく検証可能な答えを生成できず、LLM の優れた能力が影を落とします。
これらの制限に対処するために、\LLatrieval (Large Language Model Verified Retrieval) を提案します。LLM は、取得されたドキュメントが質問への回答を十分にサポートできることを確認するまで、検索結果を更新します。
したがって、LLM は、検索にフィードバックを繰り返し提供し、検証可能な生成を完全にサポートするために検索結果を容易にすることができます。
実験では、LLatrieval が広範なベースラインを大幅に上回り、最先端の結果を達成することが示されています。

要約(オリジナル)

Verifiable generation aims to let the large language model (LLM) generate text with supporting documents, which enables the user to flexibly verify the answer and makes the LLM’s output more reliable. Retrieval plays a crucial role in verifiable generation. Specifically, the retrieved documents not only supplement knowledge to help the LLM generate correct answers, but also serve as supporting evidence for the user to verify the LLM’s output. However, the widely used retrievers become the bottleneck of the entire pipeline and limit the overall performance. Their capabilities are usually inferior to LLMs since they often have much fewer parameters than the large language model and have not been demonstrated to scale well to the size of LLMs. If the retriever does not correctly find the supporting documents, the LLM can not generate the correct and verifiable answer, which overshadows the LLM’s remarkable abilities. To address these limitations, we propose \LLatrieval (Large Language Model Verified Retrieval), where the LLM updates the retrieval result until it verifies that the retrieved documents can sufficiently support answering the question. Thus, the LLM can iteratively provide feedback to retrieval and facilitate the retrieval result to fully support verifiable generation. Experiments show that LLatrieval significantly outperforms extensive baselines and achieves state-of-the-art results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google