AI-UPV at EXIST 2023 — Sexism Characterization Using Large Language Models Under The Learning with Disagreements Regime

要約

ソーシャル メディア プラットフォームの影響力が増大するにつれ、より包括的で敬意を持ったオンライン環境を促進するために、性差別やその他の無礼で憎悪に満ちた行為を検出できる自動システムを開発することが重要になってきています。
それにもかかわらず、これらのタスクは、特に意見の相違を伴う学習体制下では、さまざまな憎しみのカテゴリーと著者の意図を考慮すると、かなり困難です。
この論文では、CLEF 2023 の EXIST (社会ネットワークにおける性差別識別) ラボへの AI-UPV チームの参加について説明します。提案されたアプローチは、意見の相違のあるデータから直接トレーニングすることにより、意見の相違を伴う学習パラダイムの下で性差別の識別と特徴付けのタスクに取り組むことを目的としています。
、集約ラベルを使用せずに。
しかし、ソフト評価とハード評価の両方を考慮したパフォーマンスが報告されています。
提案されたシステムは、大規模な言語モデル (つまり、mBERT および XLM-RoBERTa) と、英語とスペイン語での性差別の識別と分類のためのアンサンブル戦略を使用します。
特に、私たちのシステムは 3 つの異なるパイプラインで統合されています。
アンサンブルアプローチは、個別の大規模言語モデルよりも優れたパフォーマンスを示し、ソフトラベル評価とハードラベル評価の両方を採用して最高のパフォーマンスを獲得しました。
この作品は 3 つの EXIST タスクすべてへの参加を記述しており、ソフト評価を考慮すると、EXIST のタスク 2 で 4 位、タスク 3 で 1 位を獲得し、最高の ICM-Soft は -2.32、正規化された ICM-Soft は 0.79 でした。
。
私たちのアプローチのソース コードは、https://github.com/AngelFelipeMP/Sexism-LLM-Learning-With-Disagreement で公開されています。

要約(オリジナル)

With the increasing influence of social media platforms, it has become crucial to develop automated systems capable of detecting instances of sexism and other disrespectful and hateful behaviors to promote a more inclusive and respectful online environment. Nevertheless, these tasks are considerably challenging considering different hate categories and the author’s intentions, especially under the learning with disagreements regime. This paper describes AI-UPV team’s participation in the EXIST (sEXism Identification in Social neTworks) Lab at CLEF 2023. The proposed approach aims at addressing the task of sexism identification and characterization under the learning with disagreements paradigm by training directly from the data with disagreements, without using any aggregated label. Yet, performances considering both soft and hard evaluations are reported. The proposed system uses large language models (i.e., mBERT and XLM-RoBERTa) and ensemble strategies for sexism identification and classification in English and Spanish. In particular, our system is articulated in three different pipelines. The ensemble approach outperformed the individual large language models obtaining the best performances both adopting a soft and a hard label evaluation. This work describes the participation in all the three EXIST tasks, considering a soft evaluation, it obtained fourth place in Task 2 at EXIST and first place in Task 3, with the highest ICM-Soft of -2.32 and a normalized ICM-Soft of 0.79. The source code of our approaches is publicly available at https://github.com/AngelFelipeMP/Sexism-LLM-Learning-With-Disagreement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google