Training Zero-Shot Generalizable End-to-End Task-Oriented Dialog System Without Turn-level Dialog Annotations

要約

タスク指向対話 (TOD) システムにより、ユーザーは自然言語対話を通じて目標を達成できます。
従来、これらのシステムは対話状態やポリシーの注釈など、ターンレベルで手動で注釈が付けられたメタデータに依存していましたが、これらのメタデータは費用と時間がかかり、一貫性がなかったりエラーが発生しやすいものでした。
この依存性により、TOD システムのトレーニングにすぐに利用できる膨大な量の会話データを活用する可能性が制限されます。
さらに、TOD システム設計における重要な課題は、外部ソースからの情報にいつどのようにアクセスして統合するかを決定することです。
現在のアプローチは通常、この情報を自律的に識別して取得する方法を学習するのではなく、対話のコンテキストとともに提供されることを期待しています。
事前トレーニングされた大規模言語モデル (LLM) は TOD システムの開発に使用されてきましたが、面倒なアノテーションを付けずにそのようなシステムをトレーニングできる可能性はほとんど解明されていません。
この取り組みでは、マルチタスク命令の微調整を採用して、外部情報の取得を自律的に管理しながら、手動の注釈なしで自然言語の会話データを効果的に活用できる、より効率的でスケーラブルな TOD システムを作成します。
3 つの多様な TOD データセットとさまざまなサイズの 3 つの LLM を使用した広範な実験評価により、私たちのアプローチが新しい未知の領域に一般化できることが実証されました。
特に、私たちのアプローチは、注釈付きデータでトレーニングされた最先端のモデルと、数十億規模のパラメーターの既製の ChatGPT モデルの両方を上回っています。

要約(オリジナル)

Task-oriented dialogue (TOD) systems enable users to achieve their goals through natural language interactions. Traditionally, these systems have relied on turn-level manually annotated metadata, such as dialogue states and policy annotations, which are expensive, time-consuming, and often inconsistent or error-prone. This dependence limits the potential to leverage vast amounts of readily available conversational data for training TOD systems. Additionally, a critical challenge in TOD system design is determining when and how to access and integrate information from external sources. Current approaches typically expect this information to be provided alongside the dialogue context, rather than learning to identify and retrieve it autonomously. While pre-trained large language models (LLMs) have been used to develop TOD systems, their potential to train such systems without laborious annotations remains largely unexplored. This work employs multi-task instruction fine-tuning to create more efficient and scalable TOD systems that can effectively leverage natural language conversational data without manual annotations, while autonomously managing external information retrieval. Our extensive experimental evaluations, using three diverse TOD datasets and three LLMs of varying sizes, demonstrate that our approach can generalize to new, unseen domains. Notably, our approach outperforms both state-of-the-art models trained on annotated data and billion-scale parameter off-the-shelf ChatGPT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google