RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation

要約

検索拡張生成 (RAG) システムの実装は本質的に複雑であり、データ、ユースケース、および複雑な設計上の決定についての深い理解が必要です。
さらに、これらのシステムの評価には大きな課題があり、多面的なアプローチを通じて検索精度と生成品質の両方を評価する必要があります。
RAG ユースケース向けに大規模な言語モデルを強化するためのオープンソース フレームワークである RAG Foundry を紹介します。
RAG Foundry は、データの作成、トレーニング、推論、評価を単一のワークフローに統合し、RAG 設定で大規模な言語モデルをトレーニングおよび評価するためのデータ拡張データセットの作成を容易にします。
この統合により、さまざまな RAG 技術を使用した迅速なプロトタイピングと実験が可能になり、ユーザーは内部または専門の知識ソースを使用してデータセットを簡単に生成し、RAG モデルをトレーニングできるようになります。
さまざまな RAG 構成を使用して Llama-3 および Phi-3 モデルを強化および微調整することでフレームワークの有効性を実証し、3 つの知識集約型データセットにわたって一貫した改善を示します。
コードは https://github.com/IntelLabs/RAGFoundry でオープンソースとしてリリースされます。

要約(オリジナル)

Implementing Retrieval-Augmented Generation (RAG) systems is inherently complex, requiring deep understanding of data, use cases, and intricate design decisions. Additionally, evaluating these systems presents significant challenges, necessitating assessment of both retrieval accuracy and generative quality through a multi-faceted approach. We introduce RAG Foundry, an open-source framework for augmenting large language models for RAG use cases. RAG Foundry integrates data creation, training, inference and evaluation into a single workflow, facilitating the creation of data-augmented datasets for training and evaluating large language models in RAG settings. This integration enables rapid prototyping and experimentation with various RAG techniques, allowing users to easily generate datasets and train RAG models using internal or specialized knowledge sources. We demonstrate the framework effectiveness by augmenting and fine-tuning Llama-3 and Phi-3 models with diverse RAG configurations, showcasing consistent improvements across three knowledge-intensive datasets. Code is released as open-source in https://github.com/IntelLabs/RAGFoundry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google