Attention at SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS)

要約

タイトル：Attention at SemEval-2023 Task 10: Explainable Detection of Online Sexism (EDOS)

要約：
– 分類タスクの形でモデルによる決定の解釈可能性、信頼性、理解性に焦点を当てた。
– 課題は3つのサブタスクに分かれる。1つ目はBinary Sexism Detectionの決定、2つ目は性差別のカテゴリの説明、3つ目はより細かいカテゴリの性差別の説明である。
– トランスフォーマーに基づくアーキテクチャをファインチューニングして、これらのタスクを分類問題として解決することを探求した。
– 複数のトランスフォーマーの組み合わせ、RedditとGabから提供されたラベルなしのデータセットのドメイン適応プレトレーニング、共同学習、トランスフォーマーの異なるレイヤーをクラス分類の入力として使用するなど、いくつかの実験を行った。
– Attentionチームのシステムは、Codalab SemEval Competitionで、0.839のマクロF1スコアのタスクA、0.5835のマクロF1スコアのタスクB、および0.3356のマクロF1スコアのタスクCを達成した。
– 後に、タスクBの正確性を0.6228、タスクCの正確性を0.3693に改善した。

要約(オリジナル)

In this paper, we have worked on interpretability, trust, and understanding of the decisions made by models in the form of classification tasks. The task is divided into 3 subtasks. The first task consists of determining Binary Sexism Detection. The second task describes the Category of Sexism. The third task describes a more Fine-grained Category of Sexism. Our work explores solving these tasks as a classification problem by fine-tuning transformer-based architecture. We have performed several experiments with our architecture, including combining multiple transformers, using domain adaptive pretraining on the unlabelled dataset provided by Reddit and Gab, Joint learning, and taking different layers of transformers as input to a classification head. Our system (with team name Attention) was able to achieve a macro F1 score of 0.839 for task A, 0.5835 macro F1 score for task B and 0.3356 macro F1 score for task C at the Codalab SemEval Competition. Later we improved the accuracy of Task B to 0.6228 and Task C to 0.3693 in the test set.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI