Robust and Explainable Identification of Logical Fallacies in Natural Language Arguments

要約

インターネット時代には、誤った情報、プロパガンダ、欠陥のある議論の拡散がさらに拡大しました。
データの量と、議論の規範の違反を特定することが非常に難しいことを考慮すると、論理的誤りを特定できる信頼できる方法で、コンテンツのモデレーションなどの情報分析タスクをサポートすることが不可欠です。
この論文では、論理的誤りに関するこれまでの理論的研究を、検出、粗粒度分類、および詳細粒度分類の包括的な 3 段階の評価フレームワークに形式化します。
既存の評価データセットを評価の各段階に適応させます。
私たちは、プロトタイプ推論、インスタンスベースの推論、知識注入に基づいた、堅牢で説明可能な方法の 3 つのファミリーを採用しています。
この方法では、言語モデルと背景知識および説明可能なメカニズムを組み合わせます。
さらに、データの拡張とカリキュラム学習の戦略によってデータの希薄性に対処します。
当社の 3 段階のフレームワークは、プロパガンダ検出などの既存のタスクから以前のデータセットとメソッドをネイティブに統合し、包括的な評価テストベッドとして機能します。
私たちは、堅牢性と説明可能性に焦点を当てて、データセット上でこれらの手法を広範囲に評価しています。
私たちの結果は、さまざまなコンポーネントや誤謬クラスに関するメソッドの長所と短所についての洞察を提供し、誤謬の特定がさまざまなクラスを捉えるために特殊な形式の推論を必要とする可能性がある困難なタスクであることを示しています。
私たちは、論理的誤りの特定に関するさらなる作業をサポートするために、オープンソース コードとデータを GitHub で共有します。

要約(オリジナル)

The spread of misinformation, propaganda, and flawed argumentation has been amplified in the Internet era. Given the volume of data and the subtlety of identifying violations of argumentation norms, supporting information analytics tasks, like content moderation, with trustworthy methods that can identify logical fallacies is essential. In this paper, we formalize prior theoretical work on logical fallacies into a comprehensive three-stage evaluation framework of detection, coarse-grained, and fine-grained classification. We adapt existing evaluation datasets for each stage of the evaluation. We employ three families of robust and explainable methods based on prototype reasoning, instance-based reasoning, and knowledge injection. The methods combine language models with background knowledge and explainable mechanisms. Moreover, we address data sparsity with strategies for data augmentation and curriculum learning. Our three-stage framework natively consolidates prior datasets and methods from existing tasks, like propaganda detection, serving as an overarching evaluation testbed. We extensively evaluate these methods on our datasets, focusing on their robustness and explainability. Our results provide insight into the strengths and weaknesses of the methods on different components and fallacy classes, indicating that fallacy identification is a challenging task that may require specialized forms of reasoning to capture various classes. We share our open-source code and data on GitHub to support further work on logical fallacy identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google