FACT-GPT: Fact-Checking Augmentation via Claim Matching with LLMs

要約

私たちの社会は、公衆衛生と信頼を損なう誤った情報の蔓延に直面しています。
この社会的課題に対処するために、当社は大規模言語モデル (LLM) を利用して事実確認の請求照合段階を自動化するシステムである FACT-GPT を導入します。
合成データセットでトレーニングされた FACT-GPT は、以前に誤りが暴かれた主張と一致する、矛盾する、または無関係なソーシャル メディア コンテンツを特定します。
私たちの評価によると、弊社の特殊な LLM は、人間の判断を厳密に反映して、関連する主張を特定する際に大規模なモデルの精度に匹敵することができます。
この研究は、効率的な請求照合のための自動化されたソリューションを提供し、ファクトチェッカーのサポートにおける LLM の可能性を実証し、この分野でのさらなる研究のための貴重なリソースを提供します。

要約(オリジナル)

Our society is facing rampant misinformation harming public health and trust. To address the societal challenge, we introduce FACT-GPT, a system leveraging Large Language Models (LLMs) to automate the claim matching stage of fact-checking. FACT-GPT, trained on a synthetic dataset, identifies social media content that aligns with, contradicts, or is irrelevant to previously debunked claims. Our evaluation shows that our specialized LLMs can match the accuracy of larger models in identifying related claims, closely mirroring human judgment. This research provides an automated solution for efficient claim matching, demonstrates the potential of LLMs in supporting fact-checkers, and offers valuable resources for further research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google