Enhancing Disinformation Detection with Explainable AI and Named Entity Replacement

要約

偽情報の自動検出は、自然言語処理の分野で重要な課題を提示します。
このタスクは、データ駆動型アルゴリズムを介して一般的な言語パターンの識別を超えて拡張するアプローチが必要な多面的な社会的およびコミュニケーションの問題に対処します。
この研究作業では、テキスト分類方法は偽情報のニュアンスを捉えることができず、しばしば余分な特徴で決定を根付かせることができないと仮定します。
したがって、分類モデルに大きな影響を与えるスプリアス要素を特定するために、事後説明可能性方法（SHAP、Shapley Additive説明）を適用します。
私たちの調査結果は、非情報的な要素（URLや絵文字など）を削除し、モデルのバイアスを回避し、一般化能力を向上させるためにトレーニングする前に、エンティティ（例えば、ルワンダ）を擬似匿名化する必要があることを示しています。
拡張データの前処理と名前​​付きエンティティ交換を適用する前後の内部データセットと外部データセットでこの方法論を評価します。
結果は、私たちの提案が、内部テストのパフォーマンスを大幅に減らすことなく、65.78％の外部テストデータを使用して、平均して平均化分類方法のパフォーマンスを強化することを示しています。

要約(オリジナル)

The automatic detection of disinformation presents a significant challenge in the field of natural language processing. This task addresses a multifaceted societal and communication issue, which needs approaches that extend beyond the identification of general linguistic patterns through data-driven algorithms. In this research work, we hypothesise that text classification methods are not able to capture the nuances of disinformation and they often ground their decision in superfluous features. Hence, we apply a post-hoc explainability method (SHAP, SHapley Additive exPlanations) to identify spurious elements with high impact on the classification models. Our findings show that non-informative elements (e.g., URLs and emoticons) should be removed and named entities (e.g., Rwanda) should be pseudo-anonymized before training to avoid models’ bias and increase their generalization capabilities. We evaluate this methodology with internal dataset and external dataset before and after applying extended data preprocessing and named entity replacement. The results show that our proposal enhances on average the performance of a disinformation classification method with external test data in 65.78% without a significant decrease of the internal test performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google