A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding

要約

タイトル：ゼロショット対話理解のためのChatGPTの初期評価

要約：
– ゼロショット対話理解は、トレーニングデータを必要とせず、ユーザーのニーズを追跡する対話を可能にすることを目的としており、注目を集めている。
– 本研究では、話し言葉理解（SLU）および対話状態追跡（DST）を含むゼロショット対話理解タスクのChatGPTの理解能力を調査した。
– 人気のある4つのベンチマークでの実験結果は、ChatGPTがゼロショット対話理解の可能性を持っていることを示している。
– また、詳細な分析により、ChatGPTはDSTタスクでのマルチターンの対話プロンプトから利益を得ていますが、SLUのスロット埋め込みを行うのに苦労しています。
– 最後に、ChatGPTの対話理解タスクでのいくつかの予期しない動作をまとめ、LLM（Large Language Models）を使用したゼロショット対話理解システムの将来の研究に洞察を与えることを望んでいます。

要約(オリジナル)

Zero-shot dialogue understanding aims to enable dialogue to track the user’s needs without any training data, which has gained increasing attention. In this work, we investigate the understanding ability of ChatGPT for zero-shot dialogue understanding tasks including spoken language understanding (SLU) and dialogue state tracking (DST). Experimental results on four popular benchmarks reveal the great potential of ChatGPT for zero-shot dialogue understanding. In addition, extensive analysis shows that ChatGPT benefits from the multi-turn interactive prompt in the DST task but struggles to perform slot filling for SLU. Finally, we summarize several unexpected behaviors of ChatGPT in dialogue understanding tasks, hoping to provide some insights for future research on building zero-shot dialogue understanding systems with Large Language Models (LLMs).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI