Knowledge Distillation in Automated Annotation: Supervised Text Classification with LLM-Generated Training Labels

要約

計算社会科学 (CSS) の専門家は、教師付きテキスト分類器を微調整するために人間がラベル付けしたデータに依存することがよくあります。
私たちは、研究者が人間が生成したトレーニング データを生成大規模言語モデル (LLM) からの代理トレーニング ラベルで拡張または置き換えることができる可能性を評価します。
推奨されるワークフローを紹介し、14 の分類タスクを複製してパフォーマンスを測定することで、この LLM アプリケーションをテストします。
私たちは、影響力の高いジャーナルに掲載された最近の CSS 論文からの英語テキスト分類データ セットの新しいコーパスを採用しています。
これらのデータセットはパスワードで保護されたアーカイブに保存されているため、分析では汚染の問題が発生しにくくなります。
タスクごとに、GPT-4 ラベルを使用して微調整された教師あり分類器と、人間によるアノテーションで微調整された分類器、および少数ショットのインコンテキスト学習による GPT-4 および Mistral-7B のラベルと比較します。
私たちの調査結果は、LLM が生成したラベルで微調整された教師あり分類モデルが、人間のアノテーターからのラベルで微調整されたモデルと同等のパフォーマンスを発揮することを示しています。
LLM で生成されたラベルを使用してモデルを微調整することは、教師ありテキスト分類器を構築するための高速かつ効率的かつコスト効率の高い方法となります。

要約(オリジナル)

Computational social science (CSS) practitioners often rely on human-labeled data to fine-tune supervised text classifiers. We assess the potential for researchers to augment or replace human-generated training data with surrogate training labels from generative large language models (LLMs). We introduce a recommended workflow and test this LLM application by replicating 14 classification tasks and measuring performance. We employ a novel corpus of English-language text classification data sets from recent CSS articles in high-impact journals. Because these data sets are stored in password-protected archives, our analyses are less prone to issues of contamination. For each task, we compare supervised classifiers fine-tuned using GPT-4 labels against classifiers fine-tuned with human annotations and against labels from GPT-4 and Mistral-7B with few-shot in-context learning. Our findings indicate that supervised classification models fine-tuned on LLM-generated labels perform comparably to models fine-tuned with labels from human annotators. Fine-tuning models using LLM-generated labels can be a fast, efficient and cost-effective method of building supervised text classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google