Advancing Annotation of Stance in Social Media Posts: A Comparative Analysis of Large Language Models and Crowd Sourcing

要約

急速に進化する自然言語処理 (NLP) の状況において、ソーシャル メディア投稿における自動テキスト注釈のための大規模言語モデル (LLM) の使用は、大きな関心を集めています。
ChatGPT のような LLM 開発における目覚ましい革新にもかかわらず、注釈ツールとしての LLM の有効性と精度は十分に理解されていません。
この論文では、ソーシャル メディアの投稿で表現されたスタンスに注釈を付けるための 8 つのオープンソースおよび独自の LLM のパフォーマンスを分析し、人間のアノテーター (つまり、クラウドソースによる) の判断に対してパフォーマンスをベンチマークします。
さらに、LLM が人間の判断に同意しない可能性が高い条件を調査します。
私たちの研究の重要な発見は、スタンスを表現するテキストの明示性が、LLM のスタンス判断が人間のスタンス判断とどの程度忠実に一致するかにおいて重要な役割を果たしているということです。
私たちは、ヒューマン・アノテーターがうまく機能するときは LLM がうまく機能し、LLM が失敗するときは、多くの場合、ヒューマン・アノテーターが合意に達するのに苦労している状況に対応すると主張します。
最後に、人間の専門知識の精度と LLM 予測の拡張性を組み合わせた包括的なアプローチについての推奨事項を述べます。
この研究は、自動スタンス検出の精度と包括性を向上させる重要性を強調し、ソーシャルメディアのより効率的で公平な分析のためにこれらのテクノロジーを進歩させることを目指しています。

要約(オリジナル)

In the rapidly evolving landscape of Natural Language Processing (NLP), the use of Large Language Models (LLMs) for automated text annotation in social media posts has garnered significant interest. Despite the impressive innovations in developing LLMs like ChatGPT, their efficacy, and accuracy as annotation tools are not well understood. In this paper, we analyze the performance of eight open-source and proprietary LLMs for annotating the stance expressed in social media posts, benchmarking their performance against human annotators’ (i.e., crowd-sourced) judgments. Additionally, we investigate the conditions under which LLMs are likely to disagree with human judgment. A significant finding of our study is that the explicitness of text expressing a stance plays a critical role in how faithfully LLMs’ stance judgments match humans’. We argue that LLMs perform well when human annotators do, and when LLMs fail, it often corresponds to situations in which human annotators struggle to reach an agreement. We conclude with recommendations for a comprehensive approach that combines the precision of human expertise with the scalability of LLM predictions. This study highlights the importance of improving the accuracy and comprehensiveness of automated stance detection, aiming to advance these technologies for more efficient and unbiased analysis of social media.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google