ArAIEval Shared Task: Persuasion Techniques and Disinformation Detection in Arabic Text

要約

EMNLP 2023と同時開催される最初のArabicNLP 2023カンファレンスの一部として組織されたArAIEval共有タスクの概要を紹介します。ArAIEvalは、アラビア語テキストに対して2つのタスクを提供します: (i) 説得テクニックの検出。ツイートやニュース内の説得テクニックの特定に焦点を当てます。
記事、および (ii) ツイートに対するバイナリおよびマルチクラス設定での偽情報の検出。
最終評価フェーズには合計 20 チームが参加し、タスク 1 とタスク 2 にはそれぞれ 14 チームと 16 チームが参加しました。
両方のタスクにわたって、AraBERT などの微調整変圧器モデルが参加システムの大部分の中核となっていることがわかりました。
データセットの構築と評価のセットアップの説明を含む、タスクのセットアップの説明を提供します。
さらに、参加しているシステムの概要を簡単に説明します。
共有タスクからのすべてのデータセットと評価スクリプトは研究コミュニティにリリースされます。
(https://araieval.gitlab.io/) これにより、これらの重要なタスクについてアラビア語でさらなる研究が可能になることを願っています。

要約(オリジナル)

We present an overview of the ArAIEval shared task, organized as part of the first ArabicNLP 2023 conference co-located with EMNLP 2023. ArAIEval offers two tasks over Arabic text: (i) persuasion technique detection, focusing on identifying persuasion techniques in tweets and news articles, and (ii) disinformation detection in binary and multiclass setups over tweets. A total of 20 teams participated in the final evaluation phase, with 14 and 16 teams participating in Tasks 1 and 2, respectively. Across both tasks, we observed that fine-tuning transformer models such as AraBERT was at the core of the majority of the participating systems. We provide a description of the task setup, including a description of the dataset construction and the evaluation setup. We further give a brief overview of the participating systems. All datasets and evaluation scripts from the shared task are released to the research community. (https://araieval.gitlab.io/) We hope this will enable further research on these important tasks in Arabic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google