TOAD: Task-Oriented Automatic Dialogs with Diverse Response Styles

要約

大規模言語モデル (LLM) の最近の進歩を考慮すると、次世代の仮想アシスタントには、多様な使用シナリオにわたる自然性と適応性の強化が期待されています。
ただし、タスク指向ダイアログ (TOD) 用の高品質の注釈付きデータの作成は時間がかかり、コストがかかることが認識されています。
これらの課題に対処するために、新規でスケーラブルな TOD データセットとその自動生成パイプラインであるタスク指向自動ダイアログ (TOAD) を導入します。
TOAD データセットは、現実的なアプリ コンテキスト インタラクションをシミュレートし、さまざまなシステム応答スタイル オプションを提供します。
システム応答スタイルの 2 つの側面、冗長レベルとユーザーの表現のミラーリングが考慮されます。
2 つの応答生成タスクで TOAD のベンチマークを行ったところ、ユーザー表現のミラーリングを使用せずに、より詳細な応答や応答をモデル化することはより困難であることが結果からわかりました。

要約(オリジナル)

In light of recent advances in large language models~(LLMs), the expectations for the next generation of virtual assistants include enhanced naturalness and adaptability across diverse usage scenarios. However, the creation of high-quality annotated data for Task-Oriented Dialog~(TOD) is recognized to be slow and costly. To address these challenges, we introduce Task-Oriented Automatic Dialogs~(TOAD), a novel and scalable TOD dataset along with its automatic generation pipeline. The TOAD dataset simulates realistic app context interaction and provide a variety of system response style options. Two aspects of system response styles are considered, verbosity level and users’ expression mirroring. We benchmark TOAD on two response generation tasks and the results show that modeling more verbose or responses without user expression mirroring is more challenging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google