Retrieval-Augmented Generation with Knowledge Graphs for Customer Service Question Answering

要約

顧客サービスのテクニカルサポートにおいて、関連する過去の課題を迅速かつ正確に検索することは、顧客からの問い合わせを効率的に解決するために非常に重要である。大規模言語モデル(LLM)のための検索支援生成(RAG)における従来の検索手法は、過去の問題追跡チケットの大規模なコーパスをプレーンテキストとして扱い、重要な問題内構造や問題間関係を無視するため、性能に限界がある。我々は、RAGと知識グラフ(KG)を統合した新しいカスタマーサービス質問応答手法を紹介する。本手法は、検索に使用するために、過去の問題からKGを構築し、問題内構造と問題間関係を保持する。質問回答フェーズでは、我々の手法は消費者からのクエリを解析し、KGから関連するサブグラフを検索して回答を生成する。このようにKGを統合することで、顧客サービスの構造情報を保持することで検索精度を向上させるだけでなく、テキストセグメンテーションの影響を緩和することで回答品質を向上させる。主要な検索（MRR、Recall@K、NDCG@K）およびテキスト生成（BLEU、ROUGE、METEOR）メトリクスを利用したベンチマークデータセットでの実証評価により、本手法はベースラインをMRRで77.6%、BLEUで0.32上回ることが明らかになった。私たちの方法はLinkedInのカスタマーサービスチームに約6ヶ月間導入され、1件あたりの解決時間の中央値を28.6%短縮しました。

要約(オリジナル)

In customer service technical support, swiftly and accurately retrieving relevant past issues is critical for efficiently resolving customer inquiries. The conventional retrieval methods in retrieval-augmented generation (RAG) for large language models (LLMs) treat a large corpus of past issue tracking tickets as plain text, ignoring the crucial intra-issue structure and inter-issue relations, which limits performance. We introduce a novel customer service question-answering method that amalgamates RAG with a knowledge graph (KG). Our method constructs a KG from historical issues for use in retrieval, retaining the intra-issue structure and inter-issue relations. During the question-answering phase, our method parses consumer queries and retrieves related sub-graphs from the KG to generate answers. This integration of a KG not only improves retrieval accuracy by preserving customer service structure information but also enhances answering quality by mitigating the effects of text segmentation. Empirical assessments on our benchmark datasets, utilizing key retrieval (MRR, Recall@K, NDCG@K) and text generation (BLEU, ROUGE, METEOR) metrics, reveal that our method outperforms the baseline by 77.6% in MRR and by 0.32 in BLEU. Our method has been deployed within LinkedIn’s customer service team for approximately six months and has reduced the median per-issue resolution time by 28.6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL