Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track

要約

新しい Bing 検索を試してみましたか?
それともGoogle AI〜概要をいじったのですか？
最近の検索スタックは、検索拡張生成 (RAG) システムを含むように進化しているため、これらは見覚えのあるものに聞こえるかもしれません。
これらを使用すると、リアルタイム データを検索して大規模言語モデル (LLM) に組み込むことができ、ランク付けされたドキュメントのリストの表示に依存する従来の検索パラダイムとは対照的に、十分な情報に基づいた属性付きの簡潔な概要を提供できます。
したがって、これらの最近の進歩を考慮すると、RAG ベースの検索システムを構築、テスト、視覚化、系統的に評価するための場を設けることが重要です。
これを念頭に置いて、RAG システムの評価におけるイノベーションを促進するための TREC 2024 RAG Track を提案します。
私たちの作業では、このトラックを現実にするために行った手順を説明します。再利用可能なフレームワークである Ragnar\’ok の詳細を説明し、新しい MS MARCO V2.1 コレクションの選択とリリースのキュレーションについて説明します。
トラックの開発トピックを定義し、エンド ユーザーを支援する I/O 定義を標準化します。
次に、Ragnar\’ok を使用して、OpenAI の GPT-4o や Cohere の Command R+ などの主要な産業ベースラインを特定し、提供します。
さらに、クラウドソーシングによるペアごとの RAG システムのベンチマークを可能にするインタラクティブ アリーナ用の Web ベースのユーザー インターフェイスを導入します。
私たちは、Ragnar\’ok フレームワークとベースラインをオープンソース化し、将来の RAG システムの統一標準を実現します。

要約(オリジナル)

Did you try out the new Bing Search? Or maybe you fiddled around with Google AI~Overviews? These might sound familiar because the modern-day search stack has recently evolved to include retrieval-augmented generation (RAG) systems. They allow searching and incorporating real-time data into large language models (LLMs) to provide a well-informed, attributed, concise summary in contrast to the traditional search paradigm that relies on displaying a ranked list of documents. Therefore, given these recent advancements, it is crucial to have an arena to build, test, visualize, and systematically evaluate RAG-based search systems. With this in mind, we propose the TREC 2024 RAG Track to foster innovation in evaluating RAG systems. In our work, we lay out the steps we’ve made towards making this track a reality — we describe the details of our reusable framework, Ragnar\’ok, explain the curation of the new MS MARCO V2.1 collection choice, release the development topics for the track, and standardize the I/O definitions which assist the end user. Next, using Ragnar\’ok, we identify and provide key industrial baselines such as OpenAI’s GPT-4o or Cohere’s Command R+. Further, we introduce a web-based user interface for an interactive arena allowing benchmarking pairwise RAG systems by crowdsourcing. We open-source our Ragnar\’ok framework and baselines to achieve a unified standard for future RAG systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google