GMNLP at SemEval-2023 Task 12: Sentiment Analysis with Phylogeny-Based Adapters

要約

【タイトル】Phylogeny-Based Adaptersを用いたSentiment Analysisの実現：SemEval-2023 Task 12 におけるGMNLP 【要約】この報告書は、SemEval-2023 shared task AfriSenti-SemEval のsentiment analysisシステムであるGMUの手法を説明しています。私たちは、Monolingual、Multilingual、およびZero-Shotのすべてのサブタスクに参加しました。私たちのアプローチは、アフリカの言語でトレーニングされた事前学習されたマルチリンガル言語モデルであるAfroXLMRの大規模版を初期化したモデルを使用し、対応するように微調整しました。さらに、オリジナルのトレーニングデータに加えて、拡張されたトレーニングデータも導入しています。ファインチューニングと並行して、さまざまなモデルを作成するために、系統史に基づいたアダプタを調整します。私たちのシステムは、トラック5 : Amharicにおいて、2番目に最高の性能を発揮したシステムよりも6.2ポイント高いF1スコアを獲得し、トラック全体で10つのシステムのうち5位にランクインしました。

【要点】
– GMUは、SemEval-2023 shared task AfriSenti-SemEvalのSentiment Analysisシステムを実装
– Monolingual、Multilingual、およびZero-Shotの3つのサブタスクに参加しました
– AfroXLMRのlarge版を初期化し、微調整してモデルを使用
– オリジナルのトレーニングデータに加えて、拡張されたトレーニングデータを使用
– 系統史に基づいたアダプタを調整して、複数のモデルを作成し、最適なモデルをアンサンブルに使用
– トラック5 : Amharicにおいて、2番目に最高の性能を発揮したシステムよりも6.2ポイント高いF1スコアを獲得
– トラック全体で10つのシステムのうち5位にランクイン

要約(オリジナル)

This report describes GMU’s sentiment analysis system for the SemEval-2023 shared task AfriSenti-SemEval. We participated in all three sub-tasks: Monolingual, Multilingual, and Zero-Shot. Our approach uses models initialized with AfroXLMR-large, a pre-trained multilingual language model trained on African languages and fine-tuned correspondingly. We also introduce augmented training data along with original training data. Alongside finetuning, we perform phylogeny-based adapter tuning to create several models and ensemble the best models for the final submission. Our system achieves the best F1-score on track 5: Amharic, with 6.2 points higher F1-score than the second-best performing system on this track. Overall, our system ranks 5th among the 10 systems participating in all 15 tracks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI