Fact-checking with Generative AI: A Systematic Cross-Topic Examination of LLMs Capacity to Detect Veracity of Political Information

要約

この研究の目的は、ファクトチェックに大規模な言語モデル（LLM）を使用して、真実性識別のために自動化された手段の使用に関するより広範な議論に貢献できることを評価することです。
この目的を達成するために、5つのLLMS（ChatGpt 4、Llama 3（70b）、Llama 3.1（405b）、Claude 3.5 Sonnet、およびGoogle Gemini）のパフォーマンスを体系的に評価するAI監査方法論を使用します。
具体的には、トピックモデリングと回帰分析を使用して、どの因子（プロンプトまたはLLMタイプのトピックなど）が真、偽、混合ステートメントの評価に影響するかを調査します。
私たちの調査結果は、ChatGpt 4とGoogle Geminiが他のモデルよりも高い精度を達成しているが、モデル全体の全体的なパフォーマンスは控えめなままであることを明らかにしています。
特に、モデルは、特にCovid-19、アメリカの政治的論争、社会問題などのデリケートなトピックについて、誤った陳述を特定するのに優れていることを示しており、これらのトピックの精度を高める可能性のあるガードレールを示唆しています。
私たちの調査結果の主な意味合いは、異なるLLM間のパフォーマンスの大幅な変動や、トレーニングデータの赤字に起因する特定のトピックの出力の不平等な品質の大幅な変動を含む、ファクトチェックにLLMを使用することには重要な課題があることです。
私たちの研究では、政治的事実確認におけるLLMの潜在性と限界を強調しており、ガードレールのさらなる改善と微調整の潜在的な手段を示唆しています。

要約(オリジナル)

The purpose of this study is to assess how large language models (LLMs) can be used for fact-checking and contribute to the broader debate on the use of automated means for veracity identification. To achieve this purpose, we use AI auditing methodology that systematically evaluates performance of five LLMs (ChatGPT 4, Llama 3 (70B), Llama 3.1 (405B), Claude 3.5 Sonnet, and Google Gemini) using prompts regarding a large set of statements fact-checked by professional journalists (16,513). Specifically, we use topic modeling and regression analysis to investigate which factors (e.g. topic of the prompt or the LLM type) affect evaluations of true, false, and mixed statements. Our findings reveal that while ChatGPT 4 and Google Gemini achieved higher accuracy than other models, overall performance across models remains modest. Notably, the results indicate that models are better at identifying false statements, especially on sensitive topics such as COVID-19, American political controversies, and social issues, suggesting possible guardrails that may enhance accuracy on these topics. The major implication of our findings is that there are significant challenges for using LLMs for factchecking, including significant variation in performance across different LLMs and unequal quality of outputs for specific topics which can be attributed to deficits of training data. Our research highlights the potential and limitations of LLMs in political fact-checking, suggesting potential avenues for further improvements in guardrails as well as fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google