MAFALDA: A Benchmark and Comprehensive Study of Fallacy Detection and Classification

要約

誤った情報は、偽情報、フェイクニュース、プロパガンダを広めるために利用され、それらを検出することの重要性を強調することがあります。
しかし、誤謬の自動検出と分類は、主にタスクの固有の主観性と、既存の研究における包括的で統一されたアプローチの必要性により、依然として課題が残っています。
これらの制限に対処するために、私たちの研究では、以前の分類を調整して改良する誤謬の新しい分類法、主観的な NLP タスクに合わせた新しい注釈スキーム、主観性を処理するように設計され、精度、再現率、および F1 スコアのメトリクスに適応する新しい評価方法を導入しています。
。
この論文では、アノテーション スキームを使用して、ゴールド スタンダード データセットである MAFALDA (Multi-level Annotated FALLacy DAtaset) を紹介しています。
MAFALDA は、3 つの粒度レベルにわたる統一された分類法に基づいて、以前から存在していたさまざまな誤謬データセットの例に基づいています。
次に、MAFALDA を使用してゼロショット学習設定でいくつかの言語モデルを評価し、誤りの検出と分類の能力を評価します。
私たちの包括的な評価は、これらのモデルのパフォーマンスをベンチマークするだけでなく、誤った推論に対処する際のモデルの強みと限界についての貴重な洞察も提供します。

要約(オリジナル)

Fallacies can be used to spread disinformation, fake news, and propaganda, underlining the importance of their detection. Automated detection and classification of fallacies, however, remain challenging, mainly because of the innate subjectivity of the task and the need for a comprehensive, unified approach in existing research. Addressing these limitations, our study introduces a novel taxonomy of fallacies that aligns and refines previous classifications, a new annotation scheme tailored for subjective NLP tasks, and a new evaluation method designed to handle subjectivity, adapted to precision, recall, and F1-Score metrics. Using our annotation scheme, the paper introduces MAFALDA (Multi-level Annotated FALlacy DAtaset), a gold standard dataset. MAFALDA is based on examples from various previously existing fallacy datasets under our unified taxonomy across three levels of granularity. We then evaluate several language models under a zero-shot learning setting using MAFALDA to assess their fallacy detection and classification capability. Our comprehensive evaluation not only benchmarks the performance of these models but also provides valuable insights into their strengths and limitations in addressing fallacious reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google