CHOPS: CHat with custOmer Profile Systems for Customer Service with LLMs

要約

企業やソフトウェア プラットフォームは、ファイル アクセスに関するチャット支援や顧客サービスの推論エージェントとして、GPT-3.5、GPT-4、GLM-3、LLaMa-2 などの大規模言語モデル (LLM) を利用することが増えています。
しかし、現在の LLM ベースの顧客サービス モデルは、顧客プロファイルとの統合が限られており、効果的なサービスに必要な運用機能が不足しています。
さらに、既存の API 統合は、現実の顧客サービス シナリオに不可欠な精度やエラー回避よりも多様性を重視しています。
これらの問題に対処するために、私たちは CHOPS (既存システムの顧客プロファイルとの CHat) という名前の LLM エージェントを提案します。(1) 既存のデータベースまたはシステムを効率的に利用して、ユーザー情報にアクセスしたり、既存のガイドラインに従ってこれらのシステムと対話したりするように設計されています。
(2) 有害な操作を回避しながら、正確かつ合理的な応答を提供するか、システム内で必要な操作を実行します。
(3) 小規模および大規模な LLM の組み合わせを活用して、妥当な推論コストで満足のいくパフォーマンスを達成します。
実用的なデータセットである CPHOS データセットを紹介します。これには、高校教師と生徒向けの模擬物理オリンピックの開催を容易にするオンライン プラットフォームである CPHOS から収集されたデータベース、ガイド ファイル、QA ペアが含まれています。
私たちは、LLM が人間の顧客サービスをどのように強化し、人間の顧客サービスの代替として機能できるかを実証することを目的として、CPHOS データセットを使用して提案した CHOPS アーキテクチャのパフォーマンスを検証する広範な実験を実施しました。
私たちが提案するアーキテクチャとデータセットのコードは、{https://github.com/JingzheShi/CHOPS} で見つけることができます。

要約(オリジナル)

Businesses and software platforms are increasingly turning to Large Language Models (LLMs) such as GPT-3.5, GPT-4, GLM-3, and LLaMa-2 for chat assistance with file access or as reasoning agents for customer service. However, current LLM-based customer service models have limited integration with customer profiles and lack the operational capabilities necessary for effective service. Moreover, existing API integrations emphasize diversity over the precision and error avoidance essential in real-world customer service scenarios. To address these issues, we propose an LLM agent named CHOPS (CHat with custOmer Profile in existing System), designed to: (1) efficiently utilize existing databases or systems for accessing user information or interacting with these systems following existing guidelines; (2) provide accurate and reasonable responses or carry out required operations in the system while avoiding harmful operations; and (3) leverage a combination of small and large LLMs to achieve satisfying performance at a reasonable inference cost. We introduce a practical dataset, the CPHOS-dataset, which includes a database, guiding files, and QA pairs collected from CPHOS, an online platform that facilitates the organization of simulated Physics Olympiads for high school teachers and students. We have conducted extensive experiments to validate the performance of our proposed CHOPS architecture using the CPHOS-dataset, with the aim of demonstrating how LLMs can enhance or serve as alternatives to human customer service. Code for our proposed architecture and dataset can be found at {https://github.com/JingzheShi/CHOPS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google