From Chaos to Clarity: Claim Normalization to Empower Fact-Checking

要約

ソーシャルメディアの台頭により、ユーザーは多くの誤解を招く主張にさらされています。
ただし、これらの投稿に固有の蔓延するノイズにより、検証が必要な正確かつ顕著な主張を特定することが困難になります。
このような投稿から重要な主張を抽出するのは困難で時間がかかりますが、十分に研究されていない問題です。
ここでは、このギャップを埋めることを目指しています。
新しいタスクである Claim Normalization (別名 ClaimNorm) を導入します。これは、複雑で騒々しいソーシャル メディアの投稿を、正規化されたクレームと呼ばれる、より単純でわかりやすい形式に分解することを目的としています。
私たちは、複雑なクレームを理解するために人間の推論プロセスを模倣し、思考連鎖とクレームのチェック適性推定を活用する先駆的なアプローチである CACN を提案します。
さらに、大規模な言語モデルのコンテキスト内学習機能を活用して、ガイダンスを提供し、クレームの正規化を改善します。
私たちが提案したモデルの有効性を評価するために、私たちは、ソーシャル メディア投稿の 6,000 件以上のインスタンスとそれぞれの正規化された主張から構成される包括的な現実世界のデータセット CLAN を細心の注意を払ってコンパイルしました。
私たちの実験では、CACN がさまざまな評価尺度にわたっていくつかのベースラインを上回るパフォーマンスを示しています。
最後に、当社の厳密なエラー分析により、CACN の機能と落とし穴が検証されます。

要約(オリジナル)

With the rise of social media, users are exposed to many misleading claims. However, the pervasive noise inherent in these posts presents a challenge in identifying precise and prominent claims that require verification. Extracting the important claims from such posts is arduous and time-consuming, yet it is an underexplored problem. Here, we aim to bridge this gap. We introduce a novel task, Claim Normalization (aka ClaimNorm), which aims to decompose complex and noisy social media posts into more straightforward and understandable forms, termed normalized claims. We propose CACN, a pioneering approach that leverages chain-of-thought and claim check-worthiness estimation, mimicking human reasoning processes, to comprehend intricate claims. Moreover, we capitalize on the in-context learning capabilities of large language models to provide guidance and to improve claim normalization. To evaluate the effectiveness of our proposed model, we meticulously compile a comprehensive real-world dataset, CLAN, comprising more than 6k instances of social media posts alongside their respective normalized claims. Our experiments demonstrate that CACN outperforms several baselines across various evaluation measures. Finally, our rigorous error analysis validates CACN’s capabilities and pitfalls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google