Uncertainty Resolution in Misinformation Detection

要約

誤った情報は、社会の信頼を損なったり、事実を歪曲したりするなど、さまざまなリスクをもたらします。
GPT-4 のような大規模言語モデル (LLM) は、特に十分なコンテキストが提供されるステートメントの処理において、誤った情報を軽減するのに効果的であることが示されています。
ただし、あいまいなステートメントや文脈が欠如しているステートメントを正確に評価するのは困難です。
この研究では、そのようなステートメントの不確実性を解決する新しい方法を導入しています。
私たちは、欠落情報を分類し、LIAR-New データセットのカテゴリ ラベルを公開するフレームワークを提案します。これは、欠落情報を含むクロスドメイン コンテンツに適応できます。
次に、このフレームワークを活用して、欠落しているコンテキストに対する効果的なユーザー クエリを生成します。
ベースラインと比較して、私たちの方法では、生成された質問にユーザーが回答できる率が 38 パーセント ポイント向上し、マクロ F1 の分類パフォーマンスが 10 パーセント ポイント以上向上しました。
したがって、このアプローチは、将来の誤情報軽減パイプラインに貴重なコンポーネントを提供する可能性があります。

要約(オリジナル)

Misinformation poses a variety of risks, such as undermining public trust and distorting factual discourse. Large Language Models (LLMs) like GPT-4 have been shown effective in mitigating misinformation, particularly in handling statements where enough context is provided. However, they struggle to assess ambiguous or context-deficient statements accurately. This work introduces a new method to resolve uncertainty in such statements. We propose a framework to categorize missing information and publish category labels for the LIAR-New dataset, which is adaptable to cross-domain content with missing information. We then leverage this framework to generate effective user queries for missing context. Compared to baselines, our method improves the rate at which generated questions are answerable by the user by 38 percentage points and classification performance by over 10 percentage points macro F1. Thus, this approach may provide a valuable component for future misinformation mitigation pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google