Detecting Misinformation with LLM-Predicted Credibility Signals and Weak Supervision

要約

信頼性シグナルは、オンライン コンテンツの真実性を評価するためにジャーナリストやファクトチェッカーによって通常使用される幅広いヒューリスティックを表します。
ただし、信頼性信号抽出のタスクを自動化することは、高精度の信号固有の抽出器をトレーニングする必要がある一方で、現在、すべての信頼性信号で注釈が付けられた十分に大きなデータセットが存在しないため、非常に困難です。
この論文では、18 個の信頼性シグナルのセットを使用して大規模言語モデル (LLM) を効果的に促し、各シグナルに対して弱いラベルを生成できるかどうかを調査します。
次に、コンテンツの真実性を予測するために、弱い監視を使用してこれらの潜在的にノイズの多いラベルを集約します。
ゼロショット LLM 信頼性信号ラベル付けと弱い監視を組み合わせた私たちのアプローチが、トレーニングにグラウンドトゥルース ラベルを使用せずに、2 つの誤った情報データセットに対して最先端の分類器よりも優れたパフォーマンスを発揮することを実証します。
また、コンテンツの真実性の予測に対する個々の信頼性シグナルの寄与も分析し、誤った情報の検出における役割についての新たな貴重な洞察を提供します。

要約(オリジナル)

Credibility signals represent a wide range of heuristics that are typically used by journalists and fact-checkers to assess the veracity of online content. Automating the task of credibility signal extraction, however, is very challenging as it requires high-accuracy signal-specific extractors to be trained, while there are currently no sufficiently large datasets annotated with all credibility signals. This paper investigates whether large language models (LLMs) can be prompted effectively with a set of 18 credibility signals to produce weak labels for each signal. We then aggregate these potentially noisy labels using weak supervision in order to predict content veracity. We demonstrate that our approach, which combines zero-shot LLM credibility signal labeling and weak supervision, outperforms state-of-the-art classifiers on two misinformation datasets without using any ground-truth labels for training. We also analyse the contribution of the individual credibility signals towards predicting content veracity, which provides new valuable insights into their role in misinformation detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google