Introducing MBIB — the first Media Bias Identification Benchmark Task and Dataset Collection

要約

【タイトル】
– 『MBIB』の紹介 – 最初のメディアバイアス識別のベンチマーク・タスクとデータセットの集合

【要約】
– メディアバイアス検出は、複合的な多くの問題を抱えているが、これらの評価タスクを統合的にまとめたベンチマークは、現在まで存在していなかった。我々は、メディアバイアス識別ベンチマーク（MBIB）を紹介する。これにより、言語、認知、政治的な異なるタイプのメディアバイアスを共通のフレームワークの下にグループ化し、潜在的な検出技術がどのように一般化するかをテストする。我々は115のデータセットをレビューした後、9つのタスクを選択し、これらの検出技術を評価するために22の関連するデータセットを提案した。
– 我々は最先端の変換技術（T5、BARTなど）を用いてMBIBを評価した。結果として、憎悪表現、人種的バイアス、そして性差別は、見つけやすかったが、認知的で政治的なバイアスについては、モデルが苦戦することがわかった。しかし、結果から、どの技術も全ての他の技術を大幅に上回ることはできないことが示された。また、メディアのバイアスの個別のタスクに対する研究関心とリソース配分が不均等であることがわかった。統一されたベンチマークは、より強力なシステムの開発を促進し、現在のメディアバイアス検出の評価のパラダイムを、複数のメディアバイアスタイプを同時に処理するソリューションにシフトするようになる。

要約(オリジナル)

Although media bias detection is a complex multi-task problem, there is, to date, no unified benchmark grouping these evaluation tasks. We introduce the Media Bias Identification Benchmark (MBIB), a comprehensive benchmark that groups different types of media bias (e.g., linguistic, cognitive, political) under a common framework to test how prospective detection techniques generalize. After reviewing 115 datasets, we select nine tasks and carefully propose 22 associated datasets for evaluating media bias detection techniques. We evaluate MBIB using state-of-the-art Transformer techniques (e.g., T5, BART). Our results suggest that while hate speech, racial bias, and gender bias are easier to detect, models struggle to handle certain bias types, e.g., cognitive and political bias. However, our results show that no single technique can outperform all the others significantly. We also find an uneven distribution of research interest and resource allocation to the individual tasks in media bias. A unified benchmark encourages the development of more robust systems and shifts the current paradigm in media bias detection evaluation towards solutions that tackle not one but multiple media bias types simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI