ChatGPT for Zero-shot Dialogue State Tracking: A Solution or an Opportunity?

要約

対話状態追跡（DST）に関する最近の研究は、新しいドメインやスキーマに少数ショットやゼロショットで転送できる手法に焦点を当てている。しかし、性能向上は、積極的なデータ増強と、これまで以上に大規模な言語モデルベースのアーキテクチャの微調整に大きく依存しています。これに対し、大量の多様なデータで訓練された汎用言語モデルは、タスクに特化した訓練なしにあらゆる種類のタスクを解決することが期待される。我々は、ChatGPT研究プレビューの予備的な実験結果を示し、ChatGPTがゼロショットDSTで最先端の性能を達成することを示す。しかし、我々は、汎用的なモデルが持つ特性により、特殊なシステムを置き換えることはできないと主張します。さらに、このようなモデルの文脈内学習機能は、専用かつ動的な対話状態追跡装置の開発を支援する強力なツールとなる可能性が高いことを理論的に説明する。

要約(オリジナル)

Recent research on dialogue state tracking (DST) focuses on methods that allow few- and zero-shot transfer to new domains or schemas. However, performance gains heavily depend on aggressive data augmentation and fine-tuning of ever larger language model based architectures. In contrast, general purpose language models, trained on large amounts of diverse data, hold the promise of solving any kind of task without task-specific training. We present preliminary experimental results on the ChatGPT research preview, showing that ChatGPT achieves state-of-the-art performance in zero-shot DST. Despite our findings, we argue that properties inherent to general purpose models limit their ability to replace specialized systems. We further theorize that the in-context learning capabilities of such models will likely become powerful tools to support the development of dedicated and dynamic dialogue state trackers.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL