Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents

要約

自動化されたサービスエージェントは、顧客クエリに一貫した正確な応答を提供するために、よく構造化されたワークフローを必要とします。
ただし、これらのワークフローは文書化されていないことが多く、会話からの自動抽出は未開拓のままです。
この作業では、歴史的な相互作用からダイアログワークフローを抽出および評価するための新しいフレームワークを提示します。
抽出プロセスは、2つの重要な段階で構成されています。（1）重要な手続き要素に基づいて関連する会話を選択するための検索ステップ、および（2）質問をベースにしたチェーンを使用した構造化されたワークフロー生成プロセス（QA-Cot
）プロンプト。
抽出されたワークフローの品質を包括的に評価するために、顧客の問題を解決する上で有効性を測定する自動エージェントおよび顧客ボットシミュレーションフレームワークを導入します。
ABCDおよびSynthABCDデータセットでの広範な実験は、QA-COT技術がベースライン上の平均マクロ精度でワークフロー抽出を12.16 \％改善することを示しています。
さらに、私たちの評価方法は、人間の評価と密接に一致しており、将来の研究のための信頼できるスケーラブルなフレームワークを提供します。

要約(オリジナル)

Automated service agents require well-structured workflows to provide consistent and accurate responses to customer queries. However, these workflows are often undocumented, and their automatic extraction from conversations remains unexplored. In this work, we present a novel framework for extracting and evaluating dialog workflows from historical interactions. Our extraction process consists of two key stages: (1) a retrieval step to select relevant conversations based on key procedural elements, and (2) a structured workflow generation process using a question-answer-based chain-of-thought (QA-CoT) prompting. To comprehensively assess the quality of extracted workflows, we introduce an automated agent and customer bots simulation framework that measures their effectiveness in resolving customer issues. Extensive experiments on the ABCD and SynthABCD datasets demonstrate that our QA-CoT technique improves workflow extraction by 12.16\% in average macro accuracy over the baseline. Moreover, our evaluation method closely aligns with human assessments, providing a reliable and scalable framework for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google