ChatGPT: Beginning of an End of Manual Annotation? Use Case of Automatic Genre Identification

要約

ChatGPT は、自然言語生成タスクで強力な能力を示しており、研究者はその能力がどこにあるのかを自然に探求するようになります。
この論文では、ChatGPTがゼロショットテキスト分類、より具体的には自動ジャンル識別に使用できるかどうかを調べます。
ChatGPT を、ジャンルで手動で注釈を付けた、データセットで微調整された多言語 XLM-RoBERTa 言語モデルと比較します。
モデルは、英語とスロベニア語の 2 つの言語のテスト セットで比較されます。
結果は、ChatGPT が微調整されたモデルよりも優れていることを示しています。これは、どちらのモデルでも以前には見られなかったデータセットに適用された場合です。
リソース不足の言語としてスロベニア語に適用した場合でも、ChatGPT のパフォーマンスは英語に適用した場合よりも悪くありません。
ただし、モデルがスロベニア語で完全にプロンプ​​ト表示されると、パフォーマンスが大幅に低下し、小規模な言語での ChatGPT の使用の現在の制限が示されます。
提示された結果は、スロベニア語などの小さな言語であっても、これが骨の折れる手動注釈キャンペーンの終わりの始まりであるかどうかを疑問視するように導きます.

要約(オリジナル)

ChatGPT has shown strong capabilities in natural language generation tasks, which naturally leads researchers to explore where its abilities end. In this paper, we examine whether ChatGPT can be used for zero-shot text classification, more specifically, automatic genre identification. We compare ChatGPT with a multilingual XLM-RoBERTa language model that was fine-tuned on datasets, manually annotated with genres. The models are compared on test sets in two languages: English and Slovenian. Results show that ChatGPT outperforms the fine-tuned model when applied to the dataset which was not seen before by either of the models. Even when applied on Slovenian language as an under-resourced language, ChatGPT’s performance is no worse than when applied to English. However, if the model is fully prompted in Slovenian, the performance drops significantly, showing the current limitations of ChatGPT usage on smaller languages. The presented results lead us to questioning whether this is the beginning of an end of laborious manual annotation campaigns even for smaller languages, such as Slovenian.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google