FinGrAct: A Framework for FINe-GRrained Evaluation of ACTionability in Explainable Automatic Fact-Checking

要約

説明可能な自動ファクトチェック（AFC）の分野は、明確で理解できる説明を提供することにより、自動化された事実検証システムの透明性と信頼性を高めることを目的としています。
ただし、これらの説明の有効性は、それらの行動性、つまりユーザーが情報に基づいた意思決定を行い、誤った情報を緩和できるようにする能力に依存します。
アクション性は高品質の説明の重要な特性であるにもかかわらず、それを評価するための専用の方法を提案した事前の研究はありません。
このホワイトペーパーでは、Webにアクセスできる細かい評価フレームワークであるFingractを紹介し、明確に定義された基準と評価データセットを介してAFCの説明の実用性を評価するように設計されています。
フィングルクルクトは、最先端の（SOTA）評価者を上回り、人間の判断と最高のピアソンとケンドールの相関を達成しながら、最低の自我中心のバイアスを実証し、AFCでのアクティビティ評価のためのより堅牢な評価アプローチになります。

要約(オリジナル)

The field of explainable Automatic Fact-Checking (AFC) aims to enhance the transparency and trustworthiness of automated fact-verification systems by providing clear and comprehensible explanations. However, the effectiveness of these explanations depends on their actionability –their ability to empower users to make informed decisions and mitigate misinformation. Despite actionability being a critical property of high-quality explanations, no prior research has proposed a dedicated method to evaluate it. This paper introduces FinGrAct, a fine-grained evaluation framework that can access the web, and it is designed to assess actionability in AFC explanations through well-defined criteria and an evaluation dataset. FinGrAct surpasses state-of-the-art (SOTA) evaluators, achieving the highest Pearson and Kendall correlation with human judgments while demonstrating the lowest ego-centric bias, making it a more robust evaluation approach for actionability evaluation in AFC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google