RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation

要約

大規模言語モデル (LLM) は、対話、推論、知識の保持において人間レベルの能力を実証します。
ただし、最も先進的な LLM であっても、幻覚や知識のリアルタイム更新などの課題に直面しています。
現在の研究では、検索拡張生成 (RAG) として知られる技術である外部知識を LLM に装備することで、このボトルネックに対処しています。
ただし、2 つの重要な問題が RAG の開発を制約しました。
まず、新しい RAG アルゴリズム間の包括的で公正な比較がますます不足しています。
第 2 に、LlamaIndex や LangChain などのオープンソース ツールは高レベルの抽象化を採用しているため、透明性が欠如し、新しいアルゴリズムや評価指標を開発する能力が制限されます。
このギャップを埋めるために、モジュール式の研究指向のオープンソース ライブラリである RAGLAB を導入します。
RAGLAB は 6 つの既存のアルゴリズムを再現し、RAG アルゴリズムを調査するための包括的なエコシステムを提供します。
RAGLAB を活用して、10 のベンチマークにわたって 6 つの RAG アルゴリズムの公正な比較を実施します。
RAGLAB を使用すると、研究者はさまざまなアルゴリズムのパフォーマンスを効率的に比較し、新しいアルゴリズムを開発できます。

要約(オリジナル)

Large Language Models (LLMs) demonstrate human-level capabilities in dialogue, reasoning, and knowledge retention. However, even the most advanced LLMs face challenges such as hallucinations and real-time updating of their knowledge. Current research addresses this bottleneck by equipping LLMs with external knowledge, a technique known as Retrieval Augmented Generation (RAG). However, two key issues constrained the development of RAG. First, there is a growing lack of comprehensive and fair comparisons between novel RAG algorithms. Second, open-source tools such as LlamaIndex and LangChain employ high-level abstractions, which results in a lack of transparency and limits the ability to develop novel algorithms and evaluation metrics. To close this gap, we introduce RAGLAB, a modular and research-oriented open-source library. RAGLAB reproduces 6 existing algorithms and provides a comprehensive ecosystem for investigating RAG algorithms. Leveraging RAGLAB, we conduct a fair comparison of 6 RAG algorithms across 10 benchmarks. With RAGLAB, researchers can efficiently compare the performance of various algorithms and develop novel algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google