Chatbots Are Not Reliable Text Annotators

要約

最近の研究では、社会科学研究におけるテキスト注釈に対する ChatGPT の大きな可能性が強調されています。
ただし、ChatGPT はクローズドソース製品であり、透明性、再現性、コスト、データ保護の点で大きな欠点があります。
オープンソース (OS) 大規模言語モデル (LLM) の最近の進歩により、これらの課題を解決する代替手段が提供されます。
これは、ChatGPT および教師あり機械学習の分類に対する標準的なアプローチと比較して、OS LLM のパフォーマンスを評価することが重要であることを意味します。
私たちは、ゼロショット学習と少数ショット学習、および汎用プロンプトとカスタムプロンプトの両方を使用して、ChatGPT と並行してさまざまな OS LLM モデルのパフォーマンスの体系的な比較評価を実施し、結果を従来の教師あり分類モデルと比較しました。
米国のニュース メディアからのツイートの新しいデータセットを使用し、標準的な社会科学概念の単純なバイナリ テキスト アノテーション タスクに焦点を当てたところ、タスク全体で ChatGPT モデルと OS モデルのパフォーマンスに大きなばらつきがあり、教師あり分類器が一貫して両方を上回るパフォーマンスを示したことがわかりました。
ChatGPT のパフォーマンスの信頼性が低く、それが Open Science にもたらす重大な課題を考慮すると、社会科学研究における実質的なテキスト注釈タスクに ChatGPT を使用しないことをお勧めします。

要約(オリジナル)

Recent research highlights the significant potential of ChatGPT for text annotation in social science research. However, ChatGPT is a closed-source product which has major drawbacks with regards to transparency, reproducibility, cost, and data protection. Recent advances in open-source (OS) large language models (LLMs) offer alternatives which remedy these challenges. This means that it is important to evaluate the performance of OS LLMs relative to ChatGPT and standard approaches to supervised machine learning classification. We conduct a systematic comparative evaluation of the performance of a range of OS LLM models alongside ChatGPT, using both zero- and few-shot learning as well as generic and custom prompts, with results compared to more traditional supervised classification models. Using a new dataset of Tweets from US news media, and focusing on simple binary text annotation tasks for standard social science concepts, we find significant variation in the performance of ChatGPT and OS models across the tasks, and that supervised classifiers consistently outperform both. Given the unreliable performance of ChatGPT and the significant challenges it poses to Open Science we advise against using ChatGPT for substantive text annotation tasks in social science research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google