Is a prompt and a few samples all you need? Using GPT-4 for data augmentation in low-resource classification tasks

要約

【タイトル】：少量のプロンプトとサンプルで済むのか？ GPT-4を使用した低リソース分類タスクでのデータ拡張

【要約】

– 複雑な低リソースドメインでは、データ収集と注釈付けはコストがかかり、時間がかかることがある。
– GPT-4とChatGPTを使用して、簡単なプロンプトを介して小さなラベル付きデータセットを合成データで拡張し、3つの異なる分類タスクで評価を行った。
– 各タスクに対して、ベースのサンプルとして500テキストをランダムに選択して、5,000の新しい合成サンプルを生成した。
– ラベル分布を保存する1つの拡張戦略と、分布をバランスさせる別の戦略を探索した。
– 徐々に大きなトレーニングサンプルサイズを使用して、実際のデータと合成データを個別に訓練および評価するために、110Mパラメータの多言語言語モデルを使用した。
– テストセットでzero-shot settingでGPT-4とChatGPTをテストし、全てのタスクにおいて強い性能を発揮した。
– 合成サンプルで拡張されたデータは良好なダウンストリームパフォーマンスを発揮し、特に希少クラスの識別に役立つことがわかった。
– 人手による注釈付きデータは強力な予測力を示し、3つのタスクのうち2つでは合成データを超えたことがわかった。
– この発見は、合成データセットのためにより複雑なプロンプトが必要であることを示しており、一貫して人間によって生成されたものを超越することができる。

要約(オリジナル)

Obtaining and annotating data can be expensive and time-consuming, especially in complex, low-resource domains. We use GPT-4 and ChatGPT to augment small labeled datasets with synthetic data via simple prompts, in three different classification tasks with varying complexity. For each task, we randomly select a base sample of 500 texts to generate 5,000 new synthetic samples. We explore two augmentation strategies: one that preserves original label distribution and another that balances the distribution. Using a progressively larger training sample size, we train and evaluate a 110M parameter multilingual language model on the real and synthetic data separately. We also test GPT-4 and ChatGPT in a zero-shot setting on the test sets. We observe that GPT-4 and ChatGPT have strong zero-shot performance across all tasks. We find that data augmented with synthetic samples yields a good downstream performance, and particularly aids in low-resource settings, such as in identifying rare classes. Human-annotated data exhibits a strong predictive power, overtaking synthetic data in two out of the three tasks. This finding highlights the need for more complex prompts for synthetic datasets to consistently surpass human-generated ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI