PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented Dialogs

要約

Google アシスタント、Alexa、Siri などのシステムが日常生活に広く普及するにつれて、タスク指向の対話に対する研究の関心が高まっています。
しかし、この分野における学術研究の影響は、ユーザーのさまざまな問題点を現実的に捉えるデータセットが不足しているため、限定的でした。
現実的な会話を解析する際のより困難な側面のいくつかに関する研究を可能にするために、人間と仮想アシスタントの間の 550,000 件を超える文脈上の多言語会話の公開データセットである PRESTO を紹介します。
PRESTO には、実際の NLU タスクで発生するさまざまな課題が含まれています。たとえば、異言、コード スイッチング、リビジョンなどです。
これは、ユーザーの連絡先や各例のリストなどの構造化されたコンテキストを提供する、人間が生成した唯一の大規模な会話解析データセットです。
私たちの mT5 モデル ベースのベースラインは、PRESTO に存在する会話現象をモデル化するのが難しいことを示しています。これは、リソースの少ないセットアップではさらに顕著です。

要約(オリジナル)

Research interest in task-oriented dialogs has increased as systems such as Google Assistant, Alexa and Siri have become ubiquitous in everyday life. However, the impact of academic research in this area has been limited by the lack of datasets that realistically capture the wide array of user pain points. To enable research on some of the more challenging aspects of parsing realistic conversations, we introduce PRESTO, a public dataset of over 550K contextual multilingual conversations between humans and virtual assistants. PRESTO contains a diverse array of challenges that occur in real-world NLU tasks such as disfluencies, code-switching, and revisions. It is the only large scale human generated conversational parsing dataset that provides structured context such as a user’s contacts and lists for each example. Our mT5 model based baselines demonstrate that the conversational phenomenon present in PRESTO are challenging to model, which is further pronounced in a low-resource setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google