RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models

要約

検索拡張大規模言語モデル (R-LLM) は、事前トレーニングされた大規模言語モデル (LLM) と情報検索システムを組み合わせて、事実に基づく質問応答の精度を向上させます。
ただし、R-LLM を構築するための現在のライブラリは、取得や生成などの特定の推論プロセス内でプロンプトを評価および最適化するための十分な透明性を持たない高レベルの抽象化を提供します。
このギャップに対処するために、知識集約型タスク向けの R-LLM の開発、評価、最適化を促進するように設計されたオープンソース フレームワークである RaLLe を紹介します。
RaLLe を使用すると、開発者は R-LLM を簡単に開発および評価でき、手作りのプロンプトを改善し、個々の推論プロセスを評価し、システム全体のパフォーマンスを定量的に客観的に測定できます。
これらの機能を活用することで、開発者は知識集約型の生成タスクにおける R-LLM のパフォーマンスと精度を向上させることができます。
コードは https://github.com/yhoshi3/RaLLe でオープンソース化されています。

要約(オリジナル)

Retrieval-augmented large language models (R-LLMs) combine pre-trained large language models (LLMs) with information retrieval systems to improve the accuracy of factual question-answering. However, current libraries for building R-LLMs provide high-level abstractions without sufficient transparency for evaluating and optimizing prompts within specific inference processes such as retrieval and generation. To address this gap, we present RaLLe, an open-source framework designed to facilitate the development, evaluation, and optimization of R-LLMs for knowledge-intensive tasks. With RaLLe, developers can easily develop and evaluate R-LLMs, improving hand-crafted prompts, assessing individual inference processes, and objectively measuring overall system performance quantitatively. By leveraging these features, developers can enhance the performance and accuracy of their R-LLMs in knowledge-intensive generation tasks. We open-source our code at https://github.com/yhoshi3/RaLLe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google