RAG based Question-Answering for Contextual Response Prediction System

要約

大規模言語モデル (LLM) は、効果的な質問応答システムとしての可能性を含め、さまざまな自然言語処理 (NLP) タスクにおいて多用途性を示しています。
ただし、業界環境での特定の顧客の質問に応じて正確で関連性のある情報を提供するには、LLM は幻覚を避けるために包括的な知識ベースにアクセスする必要があります。
検索拡張生成 (RAG) は、この課題に対処する有望な技術として浮上しています。
しかし、RAG を使用して実際のアプリケーション向けに正確な質問応答フレームワークを開発するには、1) データの可用性の問題、2) 生成されたコンテンツの品質の評価、3) 人間による評価のコストの高さといったいくつかの課題が伴います。
このペーパーでは、業界のユースケース向けに RAG 機能を備えた LLM を採用するエンドツーエンドのフレームワークを紹介します。
提案されたシステムは、顧客のクエリを受け取ると、関連するナレッジ ドキュメントを取得し、以前のチャット履歴とともにそれらを活用して、大手小売会社のコンタクト センターの顧客サービス エージェントに対する応答の提案を生成します。
包括的な自動評価と人間による評価を通じて、このソリューションが現在の BERT ベースのアルゴリズムよりも精度と関連性の点で優れていることを示します。
私たちの調査結果は、RAG ベースの LLM が顧客サービス担当者の作業負荷を軽減することで、顧客サービス担当者の優れたサポートとなる可能性があることを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have shown versatility in various Natural Language Processing (NLP) tasks, including their potential as effective question-answering systems. However, to provide precise and relevant information in response to specific customer queries in industry settings, LLMs require access to a comprehensive knowledge base to avoid hallucinations. Retrieval Augmented Generation (RAG) emerges as a promising technique to address this challenge. Yet, developing an accurate question-answering framework for real-world applications using RAG entails several challenges: 1) data availability issues, 2) evaluating the quality of generated content, and 3) the costly nature of human evaluation. In this paper, we introduce an end-to-end framework that employs LLMs with RAG capabilities for industry use cases. Given a customer query, the proposed system retrieves relevant knowledge documents and leverages them, along with previous chat history, to generate response suggestions for customer service agents in the contact centers of a major retail company. Through comprehensive automated and human evaluations, we show that this solution outperforms the current BERT-based algorithms in accuracy and relevance. Our findings suggest that RAG-based LLMs can be an excellent support to human customer service representatives by lightening their workload.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google