Large Language Models for Propaganda Detection

要約

デジタル社会におけるプロパガンダの蔓延は、社会の調和と真実の普及に課題をもたらしています。
テキスト内の NLP を通じてプロパガンダを検出することは、微妙な操作テクニックと文脈依存性のため、困難です。
この問題に対処するために、プロパガンダ検出に対する GPT-3 や GPT-4 などの最新の大規模言語モデル (LLM) の有効性を調査します。
SemEval-2020 タスク 11 データセットを使用して実験を行います。このデータセットは、マルチラベル分類問題として 14 のプロパガンダ手法でラベル付けされたニュース記事を特集しています。
GPT-3 と GPT-4 の 5 つのバリエーションが採用されており、さまざまなモデルにわたるさまざまな迅速なエンジニアリングと微調整戦略が組み込まれています。
$F1$ スコア、$Precision$、$Recall$ などの指標を評価することでモデルのパフォーマンスを評価し、その結果を RoBERTa を使用した現在の最先端のアプローチと比較します。
私たちの調査結果は、GPT-4 が現在の最先端技術と同等の結果を達成できることを示しています。
さらに、この研究では、プロパガンダ検出などの複雑なタスクにおける LLM の可能性と課題を分析しています。

要約(オリジナル)

The prevalence of propaganda in our digital society poses a challenge to societal harmony and the dissemination of truth. Detecting propaganda through NLP in text is challenging due to subtle manipulation techniques and contextual dependencies. To address this issue, we investigate the effectiveness of modern Large Language Models (LLMs) such as GPT-3 and GPT-4 for propaganda detection. We conduct experiments using the SemEval-2020 task 11 dataset, which features news articles labeled with 14 propaganda techniques as a multi-label classification problem. Five variations of GPT-3 and GPT-4 are employed, incorporating various prompt engineering and fine-tuning strategies across the different models. We evaluate the models’ performance by assessing metrics such as $F1$ score, $Precision$, and $Recall$, comparing the results with the current state-of-the-art approach using RoBERTa. Our findings demonstrate that GPT-4 achieves comparable results to the current state-of-the-art. Further, this study analyzes the potential and challenges of LLMs in complex tasks like propaganda detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google