LUCID: LLM-Generated Utterances for Complex and Interesting Dialogues

要約

最近の大規模言語モデル（LLM）の進歩に後押しされ、バーチャルアシスタントは対話能力の面で飛躍的な進歩を遂げようとしている。しかし、タスク指向の対話能力を真に変革するための大きなボトルネックは、高品質なデータの不足である。既存のデータセットは、その規模には目を見張るものがあるものの、限られた領域しかカバーしておらず、真に挑戦的な会話現象はほとんど含まれていません。また、存在するデータも一般的にラベル付けされていないため、時間とコストのかかる人間による評価なしにモデルの長所と短所を評価することは困難です。さらに、高品質の対話データを作成するには、これまでかなりの人手による入力が必要であり、データセットの規模や新しいターゲットドメインのデータを迅速にブートストラップする能力が制限されていました。我々は、モジュール化され、高度に自動化されたLLM主導のデータ生成システムであるLUCIDにより、これらの問題を克服し、現実的で多様かつ挑戦的な対話を生成することを目指す。我々はLUCIDを用いて、100のインテントにわたる4,277の会話からなるシードデータセットを生成し、その能力を実証する。

要約(オリジナル)

Spurred by recent advances in Large Language Models (LLMs), virtual assistants are poised to take a leap forward in terms of their dialogue capabilities. Yet a major bottleneck to achieving genuinely transformative task-oriented dialogue capabilities remains the scarcity of high quality data. Existing datasets, while impressive in scale, have limited domain coverage and contain few genuinely challenging conversational phenomena; those which are present are typically unlabelled, making it difficult to assess the strengths and weaknesses of models without time-consuming and costly human evaluation. Moreover, creating high quality dialogue data has until now required considerable human input, limiting both the scale of these datasets and the ability to rapidly bootstrap data for a new target domain. We aim to overcome these issues with LUCID, a modularised and highly automated LLM-driven data generation system that produces realistic, diverse and challenging dialogues. We use LUCID to generate a seed dataset of 4,277 conversations across 100 intents to demonstrate its capabilities, with a human review finding consistently high quality labels in the generated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL