要約
ACL 2024と同時開催されるArabicNLP 2024カンファレンスの一部として組織されたFIGNEWS共有タスクの概要を紹介します。共有タスクは、多言語ニュース投稿における偏見とプロパガンダの注釈に対処します。
ケーススタディとして、ガザでのイスラエル戦争の初期に焦点を当てます。
このタスクは、潜在的な偏見やプロパガンダを浮き彫りにする多様な物語を分析するためのフレームワークを作成することにより、主観的なタスクのアノテーション ガイドラインを開発する際の協力を促進することを目的としています。
多様性を促進し奨励する精神で、私たちは多言語の観点から、つまり英語、フランス語、アラビア語、ヘブライ語、ヒンディー語の 5 言語以内で問題に取り組みます。
合計 17 チームが、バイアス (16 チーム) とプロパガンダ (6 チーム) の 2 つのアノテーション サブタスクに参加しました。
チームは、ガイドラインの開発、注釈の品質、注釈の量、一貫性という 4 つの評価トラックで競い合いました。
チームは合計で 129,800 のデータ ポイントを生成しました。
主要な発見とこの分野への影響について説明します。
要約(オリジナル)
We present an overview of the FIGNEWS shared task, organized as part of the ArabicNLP 2024 conference co-located with ACL 2024. The shared task addresses bias and propaganda annotation in multilingual news posts. We focus on the early days of the Israel War on Gaza as a case study. The task aims to foster collaboration in developing annotation guidelines for subjective tasks by creating frameworks for analyzing diverse narratives highlighting potential bias and propaganda. In a spirit of fostering and encouraging diversity, we address the problem from a multilingual perspective, namely within five languages: English, French, Arabic, Hebrew, and Hindi. A total of 17 teams participated in two annotation subtasks: bias (16 teams) and propaganda (6 teams). The teams competed in four evaluation tracks: guidelines development, annotation quality, annotation quantity, and consistency. Collectively, the teams produced 129,800 data points. Key findings and implications for the field are discussed.
arxiv情報
| 著者 | Wajdi Zaghouani,Mustafa Jarrar,Nizar Habash,Houda Bouamor,Imed Zitouni,Mona Diab,Samhaa R. El-Beltagy,Muhammed AbuOdeh |
| 発行日 | 2024-07-25 15:58:19+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google