MAGPIE: Multi-Task Media-Bias Analysis Generalization for Pre-Trained Identification of Expressions

要約

メディア バイアスの検出は複雑で多面的な問題を引き起こし、従来はシングルタスク モデルと小さなドメイン内データセットを使用して取り組んできたため、一般化性に欠けていました。
これに対処するために、メディア バイアス検出用に明示的に調整された初の大規模マルチタスク事前トレーニング アプローチである MAGPIE を導入します。
大規模な事前トレーニングを可能にするために、59 のバイアス関連タスクを編集した Large Bias Mixture (LBM) を提示します。
MAGPIE は、Bias Annotation By Experts (BABE) データセットでのメディア バイアス検出において以前のアプローチを上回り、F1 スコアが 3.3% 相対的に向上しました。
また、MAGPIE は、メディア バイアス識別ベンチマーク (MBIB) の 8 タスク中 5 タスクで以前のモデルよりも優れたパフォーマンスを発揮します。
RoBERTa エンコーダを使用することで、MAGPIE は単一タスクのアプローチと比較して微調整ステップが 15% のみ必要になります。
私たちの評価では、たとえば、感情や感情などのタスクがすべての学習を促進し、すべてのタスクがフェイク ニュースの検出を強化し、タスクをスケーリングすると最良の結果が得られることが示されています。
MAGPIE は、MTL がメディア バイアス検出に対処し、既存のモデルの精度と効率を向上させるための有望なアプローチであることを確認しています。
さらに、LBM は、メディア バイアス MTL に焦点を当てた最初の利用可能なリソース コレクションです。

要約(オリジナル)

Media bias detection poses a complex, multifaceted problem traditionally tackled using single-task models and small in-domain datasets, consequently lacking generalizability. To address this, we introduce MAGPIE, the first large-scale multi-task pre-training approach explicitly tailored for media bias detection. To enable pre-training at scale, we present Large Bias Mixture (LBM), a compilation of 59 bias-related tasks. MAGPIE outperforms previous approaches in media bias detection on the Bias Annotation By Experts (BABE) dataset, with a relative improvement of 3.3% F1-score. MAGPIE also performs better than previous models on 5 out of 8 tasks in the Media Bias Identification Benchmark (MBIB). Using a RoBERTa encoder, MAGPIE needs only 15% of finetuning steps compared to single-task approaches. Our evaluation shows, for instance, that tasks like sentiment and emotionality boost all learning, all tasks enhance fake news detection, and scaling tasks leads to the best results. MAGPIE confirms that MTL is a promising approach for addressing media bias detection, enhancing the accuracy and efficiency of existing models. Furthermore, LBM is the first available resource collection focused on media bias MTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google