Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths?

要約

政治的な誤った情報は民主主義のプロセスに重大な課題をもたらし、世論とメディアへの信頼を形成します。
手動のファクトチェック手法はスケーラビリティとアノテーターのバイアスの問題に直面する一方、機械学習モデルには大規模でコストのかかるラベル付きデータセットが必要です。
この研究では、ニュース記事内の政治的事実を検出するための信頼できるアノテーターとして、最先端の大規模言語モデル (LLM) の使用を調査します。
オープンソース LLM を使用して、政治的に多様なデータセットを作成し、LLM によって生成されたアノテーションによってバイアスのラベルが付けられます。
これらの注釈は人間の専門家によって検証され、さらに LLM ベースの審査員によって評価されて、注釈の正確性と信頼性が評価されます。
私たちのアプローチは、従来のファクトチェックに代わるスケーラブルで堅牢な代替手段を提供し、メディアに対する透明性と国民の信頼を高めます。

要約(オリジナル)

Political misinformation poses significant challenges to democratic processes, shaping public opinion and trust in media. Manual fact-checking methods face issues of scalability and annotator bias, while machine learning models require large, costly labelled datasets. This study investigates the use of state-of-the-art large language models (LLMs) as reliable annotators for detecting political factuality in news articles. Using open-source LLMs, we create a politically diverse dataset, labelled for bias through LLM-generated annotations. These annotations are validated by human experts and further evaluated by LLM-based judges to assess the accuracy and reliability of the annotations. Our approach offers a scalable and robust alternative to traditional fact-checking, enhancing transparency and public trust in media.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google