ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection

要約

自然言語理解の重要な側面であるオープン インテントの検出には、ユーザーが生成したテキスト内のこれまで目に見えなかったインテントの識別が含まれます。
この分野での進歩にもかかわらず、構成の一般化に不可欠な言語コンポーネントの新しい組み合わせの処理には課題が残っています。
この論文では、オープンインテント検出タスクにおける構成的一般化を強化するためのデータ拡張手法として ChatGPT の使用を検討するケーススタディを紹介します。
まず、この問題を評価する際の既存のベンチマークの限界について議論し、オープンインテント検出タスクにおける構成的一般化に対処するためのデータセットを構築する必要性を強調します。
ChatGPT によって生成された合成データをトレーニング プロセスに組み込むことで、私たちのアプローチがモデルのパフォーマンスを効果的に向上できることを実証します。
複数のベンチマークの厳密な評価により、私たちの方法が既存の技術を上回っており、オープンインテント検出機能が大幅に強化されていることが明らかになりました。
私たちの調査結果は、自然言語理解タスクにおけるデータ拡張に対する ChatGPT のような大規模言語モデルの可能性を強調しています。

要約(オリジナル)

Open intent detection, a crucial aspect of natural language understanding, involves the identification of previously unseen intents in user-generated text. Despite the progress made in this field, challenges persist in handling new combinations of language components, which is essential for compositional generalization. In this paper, we present a case study exploring the use of ChatGPT as a data augmentation technique to enhance compositional generalization in open intent detection tasks. We begin by discussing the limitations of existing benchmarks in evaluating this problem, highlighting the need for constructing datasets for addressing compositional generalization in open intent detection tasks. By incorporating synthetic data generated by ChatGPT into the training process, we demonstrate that our approach can effectively improve model performance. Rigorous evaluation of multiple benchmarks reveals that our method outperforms existing techniques and significantly enhances open intent detection capabilities. Our findings underscore the potential of large language models like ChatGPT for data augmentation in natural language understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google