Exposing propaganda: an analysis of stylistic cues comparing human annotations and machine classification

要約

この論文は、プロパガンダの言語とその文体的特徴を調査します。
これは、Propagandist Pseudo-News の略で、専門機関によってプロパガンダ ソースとして特定された Web サイトから抽出されたニュース記事で構成される、マルチソース、多言語、マルチモーダル データセットである PPN データセットを示しています。
このセットからの限られたサンプルを、通常のフランスの新聞の論文とランダムに混合し、URL をマスクして、11 個の異なるラベルを使用して人間による注釈実験を実施しました。
結果は、人間のアノテーターが各ラベルにわたって 2 種類の報道を確実に区別できたことを示しています。
私たちは、アノテーターが使用したキューを特定し、それらを機械分類と比較するためのさまざまな NLP 手法を提案します。
これらには、談話の曖昧さと主観性を測定するアナライザー VAGO、ベースラインとして機能する TF-IDF、および 4 つの異なる分類子 (2 つの RoBERTa ベースのモデル、構文を使用する CATS、および構文と意味の特徴を組み合わせた 1 つの XGBoost) が含まれています。

要約(オリジナル)

This paper investigates the language of propaganda and its stylistic features. It presents the PPN dataset, standing for Propagandist Pseudo-News, a multisource, multilingual, multimodal dataset composed of news articles extracted from websites identified as propaganda sources by expert agencies. A limited sample from this set was randomly mixed with papers from the regular French press, and their URL masked, to conduct an annotation-experiment by humans, using 11 distinct labels. The results show that human annotators were able to reliably discriminate between the two types of press across each of the labels. We propose different NLP techniques to identify the cues used by the annotators, and to compare them with machine classification. They include the analyzer VAGO to measure discourse vagueness and subjectivity, a TF-IDF to serve as a baseline, and four different classifiers: two RoBERTa-based models, CATS using syntax, and one XGBoost combining syntactic and semantic features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google