Measuring and Enhancing Trustworthiness of LLMs in RAG through Grounded Attributions and Learning to Refuse

要約

LLM は、検索拡張生成 (RAG) システムに不可欠な部分です。
多くの研究はエンドツーエンドの RAG システムの品質の評価に焦点を当てていますが、RAG タスクに対する LLM の適切性を理解することに関する研究は不足しています。
そこで、RAG フレームワークにおける LLM の信頼性の総合的な評価を提供する新しい指標である Trust-Score を導入します。
コンテキスト内学習などのさまざまなプロンプト手法では、LLM を RAG タスクに効果的に適応させることができないことを示します。
したがって、私たちは、より高い信頼スコアを得るために LLM を調整するフレームワークである Trust-Align を提案します。
私たちの手法と一致した LLaMA-3-8b は、ASQA (10.7 増加)、QAMPARI (29.2 増加)、および ELI5 (14.9 増加) で同等のサイズのオープンソース LLM を大幅に上回っています。
コードは https://github.com/declare-lab/trust-align でリリースされます。

要約(オリジナル)

LLMs are an integral part of retrieval-augmented generation (RAG) systems. While many studies focus on evaluating the quality of end-to-end RAG systems, there is a lack of research on understanding the appropriateness of an LLM for the RAG task. Thus, we introduce a new metric, Trust-Score, that provides a holistic evaluation of the trustworthiness of LLMs in an RAG framework. We show that various prompting methods, such as in-context learning, fail to adapt LLMs effectively to the RAG task. Thus, we propose Trust-Align, a framework to align LLMs for higher Trust-Score. LLaMA-3-8b, aligned with our method, significantly outperforms open-source LLMs of comparable sizes on ASQA (up 10.7), QAMPARI (up 29.2) and ELI5 (up 14.9). We release our code at: https://github.com/declare-lab/trust-align.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google