ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks

要約

多くの NLP アプリケーションでは、さまざまなタスク、特に分類器のトレーニングや教師なしモデルのパフォーマンスの評価のために手動のデータ アノテーションが必要です。
サイズと複雑さの程度に応じて、タスクは、MTurk などのプラットフォーム上のクラウド ワーカーや、リサーチ アシスタントなどの訓練を受けたアノテーターによって実行される場合があります。
2,382 ツイートのサンプルを使用して、ChatGPT が、関連性、スタンス、トピック、フレーム検出などのいくつかの注釈タスクでクラウド ワーカーよりも優れていることを示しています。
具体的には、ChatGPT のゼロ ショット精度は、5 つのタスクのうち 4 つのタスクでクラウド ワーカーの精度を上回り、ChatGPT のコーダー間合意は、すべてのタスクでクラウド ワーカーと訓練されたアノテーターの両方を上回っています。
さらに、ChatGPT のアノテーションあたりのコストは $0.003 未満で、MTurk の約 20 分の 1 です。
これらの結果は、大規模な言語モデルがテキスト分類の効率を大幅に向上させる可能性を示しています。

要約(オリジナル)

Many NLP applications require manual data annotations for a variety of tasks, notably to train classifiers or evaluate the performance of unsupervised models. Depending on the size and degree of complexity, the tasks may be conducted by crowd-workers on platforms such as MTurk as well as trained annotators, such as research assistants. Using a sample of 2,382 tweets, we demonstrate that ChatGPT outperforms crowd-workers for several annotation tasks, including relevance, stance, topics, and frames detection. Specifically, the zero-shot accuracy of ChatGPT exceeds that of crowd-workers for four out of five tasks, while ChatGPT’s intercoder agreement exceeds that of both crowd-workers and trained annotators for all tasks. Moreover, the per-annotation cost of ChatGPT is less than $0.003 — about twenty times cheaper than MTurk. These results show the potential of large language models to drastically increase the efficiency of text classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google