TELLER: A Trustworthy Framework for Explainable, Generalizable and Controllable Fake News Detection

要約

フェイクニュースの蔓延は深刻な社会問題として浮上しており、産業界や学界からの大きな関心が高まっています。
既存のディープラーニングベースの手法は、フェイクニュースを正確に検出する点で進歩を遂げていますが、その信頼性は、不透明な推論プロセス、貧弱な一般化能力、および大規模言語モデル（LLM）との統合に伴う固有のリスクによって損なわれる可能性があります。
この課題に対処するために、モデルの説明可能性、一般化可能性、制御可能性を優先する、信頼できるフェイク ニュース検出のための新しいフレームワークである {\methodname} を提案します。
これは、上記の原則に従い、認知システムと決定システムを統合するデュアルシステム フレームワークによって実現されます。
この認識システムは人間の専門知識を利用して論理述語を生成し、LLM が人間が判読できる論理アトムを生成するように導きます。
一方、意思決定システムは、これらのアトムを集約するための一般化可能な論理ルールを推定し、さまざまな領域にわたる入力ニュースの真実性の識別を可能にし、意思決定プロセスの透明性を高めます。
最後に、4 つのデータセットに関する包括的な評価結果を示し、提案したフレームワークの実現可能性と信頼性を示します。
私たちの実装は \url{https://github.com/less-and-less-bugs/Trust_TELLER} で入手できます。

要約(オリジナル)

The proliferation of fake news has emerged as a severe societal problem, raising significant interest from industry and academia. While existing deep-learning based methods have made progress in detecting fake news accurately, their reliability may be compromised caused by the non-transparent reasoning processes, poor generalization abilities and inherent risks of integration with large language models (LLMs). To address this challenge, we propose {\methodname}, a novel framework for trustworthy fake news detection that prioritizes explainability, generalizability and controllability of models. This is achieved via a dual-system framework that integrates cognition and decision systems, adhering to the principles above. The cognition system harnesses human expertise to generate logical predicates, which guide LLMs in generating human-readable logic atoms. Meanwhile, the decision system deduces generalizable logic rules to aggregate these atoms, enabling the identification of the truthfulness of the input news across diverse domains and enhancing transparency in the decision-making process. Finally, we present comprehensive evaluation results on four datasets, demonstrating the feasibility and trustworthiness of our proposed framework. Our implementation is available at \url{https://github.com/less-and-less-bugs/Trust_TELLER}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google