The StatCan Dialogue Dataset: Retrieving Data Tables through Conversations with Genuine Intents

要約

タイトル：StatCan Dialogue Dataset：Genuine Intentsをもつ会話を通じたデータ表の回収
要約：本論文では、統計カナダで働くエージェントとオンラインユーザーとの間で行われた19,379の会話ターンで構成されるStatCan Dialogue Datasetを紹介する。これらの会話は本物の意図に基づき、英語またはフランス語で行われ、エージェントが5000を超える複雑なデータ表の1つを回収することにつながる。このデータセットに基づいて、以下の2つのタスクを提案する：（1）進行中の会話に基づいて関連する表を自動的に回収すること、（2）各ターンで適切なエージェント応答を自動生成すること。我々は強力な基準を確立することにより、それぞれのタスクの困難さを調査する。時間的なデータ分割に基づく実験では、すべてのモデルが将来の会話に一般化することが困難であることが明らかになり、検証からテストセットに移動する際に両方のタスクで性能が大幅に低下することが観察された。さらに、応答生成モデルがテーブルを返すタイミングを判断するのに苦労していることがわかった。既存のモデルにとって課題が重要であることを考慮し、ライブチャットユーザーの関連する表を見つけるのに直接役立つタスクのモデルを開発することをコミュニティに奨励する。
要点：
– StatCan Dialogue Datasetは、19,379の会話ターンで構成されるデータセットであり、エージェントがオンラインユーザーの要望に基づいて5000を超える複雑なデータ表を回収する。
– 2つの自動化タスクを提案する：自動的に関連する表を回収すること、各ターンで適切なエージェント応答を自動生成すること。
– 実験により、すべてのモデルが将来の会話に一般化することが困難であることが示され、応答生成モデルがテーブルを返すタイミングを判断するのに苦労していることがわかった。
– コミュニティに対して、ライブチャットユーザーの関連する表を見つけるのに直接役立つタスクのモデルを開発することを奨励している。

要約(オリジナル)

We introduce the StatCan Dialogue Dataset consisting of 19,379 conversation turns between agents working at Statistics Canada and online users looking for published data tables. The conversations stem from genuine intents, are held in English or French, and lead to agents retrieving one of over 5000 complex data tables. Based on this dataset, we propose two tasks: (1) automatic retrieval of relevant tables based on a on-going conversation, and (2) automatic generation of appropriate agent responses at each turn. We investigate the difficulty of each task by establishing strong baselines. Our experiments on a temporal data split reveal that all models struggle to generalize to future conversations, as we observe a significant drop in performance across both tasks when we move from the validation to the test set. In addition, we find that response generation models struggle to decide when to return a table. Considering that the tasks pose significant challenges to existing models, we encourage the community to develop models for our task, which can be directly used to help knowledge workers find relevant tables for live chat users.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI