‘Ask Me Anything’: How Comcast Uses LLMs to Assist Agents in Real Time

要約

カスタマーサービスは、企業が顧客とどのように接するかである。顧客満足度の向上に大きく貢献する。しかし、質の高いサービスは高額になる可能性があるため、可能な限りコスト効率を高めようとするインセンティブが働き、ほとんどの企業がAIを搭載したアシスタント、つまり「チャットボット」の活用を促している。一方、人間対人間の対話は、特に紛争や請求書支払いのようなデリケートな話題のような複雑なシナリオに関しては、依然として顧客から望まれている。 そのため、カスタマーサービス・エージェントのハードルは高くなる。彼らは、顧客の質問や懸念を正確に理解し、一度に複数の会話を処理しながら、受け入れ可能でありながら実現可能な（そして会社のポリシー内の）解決策を特定する必要がある。 この研究では、エージェント向けのカスタマーサービスインターフェイスのアドオン機能として、「Ask Me Anything」（AMA）を紹介する。AMAは、エージェントが顧客との会話を処理しながら、必要に応じて大規模な言語モデル（LLM）に質問することを可能にし、LLMはリアルタイムで正確な応答を提供し、エージェントが必要とするコンテキストの切り替えの量を減らす。当社の社内実験では、AMAを使用したエージェントは、従来の検索エクスペリエンスと比較して、検索を含む会話に費やす時間が約10%短縮され、年間数百万ドルの節約になることがわかりました。AMA機能を使用したエージェントは、約80％の確率で肯定的なフィードバックを提供し、カスタマーケアのためのAI支援機能としての有用性を実証しました。

要約(オリジナル)

Customer service is how companies interface with their customers. It can contribute heavily towards the overall customer satisfaction. However, high-quality service can become expensive, creating an incentive to make it as cost efficient as possible and prompting most companies to utilize AI-powered assistants, or ‘chat bots’. On the other hand, human-to-human interaction is still desired by customers, especially when it comes to complex scenarios such as disputes and sensitive topics like bill payment. This raises the bar for customer service agents. They need to accurately understand the customer’s question or concern, identify a solution that is acceptable yet feasible (and within the company’s policy), all while handling multiple conversations at once. In this work, we introduce ‘Ask Me Anything’ (AMA) as an add-on feature to an agent-facing customer service interface. AMA allows agents to ask questions to a large language model (LLM) on demand, as they are handling customer conversations — the LLM provides accurate responses in real-time, reducing the amount of context switching the agent needs. In our internal experiments, we find that agents using AMA versus a traditional search experience spend approximately 10% fewer seconds per conversation containing a search, translating to millions of dollars of savings annually. Agents that used the AMA feature provided positive feedback nearly 80% of the time, demonstrating its usefulness as an AI-assisted feature for customer care.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL