Intent Induction from Conversations for Task-Oriented Dialogue Track at DSTC 11

要約

タイトル：DSTC 11におけるTask-Oriented Dialogue Track用の会話からのIntent Induction

要約：
– 仮想アシスタントの需要と採用が増えているため、最近の研究では、インテントの自動誘導やスロット・対話状態の誘導を通じてボットスキーマデザインを加速する方法を調査してきました。
– ただし、専用のベンチマークや標準化された評価の不足が進展を追跡するのを困難にし、システム間の比較を困難にしています。
– このチャレンジトラックは、Eleventh Dialog Systems Technology Challengeの一部として開催され、人間のエージェントと顧客の間の顧客サービスの相互作用の現実的な設定で顧客の意図の自動誘導の方法を評価するベンチマークを紹介しています。
– 私たちは、段階的にインテントの自動誘導および対応する評価方法に取り組むための2つのサブタスクを提案し、評価タスクに適した3つのデータセットを提供し、簡単なベースラインを提案します。
– 最後に、34のチームからの提出物とチャレンジトラックの結果を要約します。

要約(オリジナル)

With increasing demand for and adoption of virtual assistants, recent work has investigated ways to accelerate bot schema design through the automatic induction of intents or the induction of slots and dialogue states. However, a lack of dedicated benchmarks and standardized evaluation has made progress difficult to track and comparisons between systems difficult to make. This challenge track, held as part of the Eleventh Dialog Systems Technology Challenge, introduces a benchmark that aims to evaluate methods for the automatic induction of customer intents in a realistic setting of customer service interactions between human agents and customers. We propose two subtasks for progressively tackling the automatic induction of intents and corresponding evaluation methodologies. We then present three datasets suitable for evaluating the tasks and propose simple baselines. Finally, we summarize the submissions and results of the challenge track, for which we received submissions from 34 teams.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI