CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation

要約

検索拡張生成 (RAG) は、外部知識の検索を通じて大規模言語モデル (LLM) を強化するための強力なパラダイムとなっています。
広く注目されているにもかかわらず、既存の学術研究は主にシングルターン RAG に焦点を当てており、現実世界のアプリケーションで見られるマルチターン会話の複雑さに対処するには大きなギャップが残されています。
このギャップを埋めるために、現実的なマルチターン会話設定で RAG システムを評価するように設計された大規模ベンチマークである CORAL を導入します。
CORAL には、Wikipedia から自動的に派生した情報を求める多様な会話が含まれており、オープンドメインの報道、知識の集中、自由形式の応答、トピックの変更などの重要な課題に取り組んでいます。
これは、会話型 RAG の 3 つの中心的なタスク (パッセージの取得、応答の生成、引用のラベル付け) をサポートします。
私たちは、さまざまな会話型 RAG 手法を標準化するための統一フレームワークを提案し、CORAL 上でこれらの手法の包括的な評価を実施し、既存のアプローチを改善するための大きな機会を実証します。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has become a powerful paradigm for enhancing large language models (LLMs) through external knowledge retrieval. Despite its widespread attention, existing academic research predominantly focuses on single-turn RAG, leaving a significant gap in addressing the complexities of multi-turn conversations found in real-world applications. To bridge this gap, we introduce CORAL, a large-scale benchmark designed to assess RAG systems in realistic multi-turn conversational settings. CORAL includes diverse information-seeking conversations automatically derived from Wikipedia and tackles key challenges such as open-domain coverage, knowledge intensity, free-form responses, and topic shifts. It supports three core tasks of conversational RAG: passage retrieval, response generation, and citation labeling. We propose a unified framework to standardize various conversational RAG methods and conduct a comprehensive evaluation of these methods on CORAL, demonstrating substantial opportunities for improving existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google