DN at SemEval-2023 Task 12: Low-Resource Language Text Classification via Multilingual Pretrained Language Model Fine-tuning

要約

【タイトル】セマンティック・エバリュエーション・チャレンジ2023でのDN：多言語事前学習言語モデルの微調整による低資源言語テキスト分類
【要約】
– 感情分析は自然言語処理において重要性が高まっているが、既存のモデルとデータセットの多くは英語や中国語など高資源言語に対応しており、低資源言語、特にアフリカ諸言語に対しては未開拓のままである。
– AfriSenti-SemEval 2023 Shared Task 12は、低資源アフリカ言語での感情分析モデルの評価を行うことで、この問題を解決することを目的としている。
– 本論文では、異なる多言語XLM-Rモデルと分類ヘッドを使用し、アフリカ方言を再トレーニングし、対象言語で微調整したデータを含むさまざまなデータを使用して、共有タスクの解決策を提供している。
– チームは、サブタスクB、トラック16：多言語の中で第3位の成績を収め、アプローチの効果を示している。
– 全般的には多言語データに対して相対的に良い結果を示したが、一部の言語では性能が低下した。これは、低資源アフリカ言語に対応するより包括的なデータセットとモデルを開発することの重要性を強調している。
– また、解決策はgithubリポジトリに公開している。

要約(オリジナル)

In recent years, sentiment analysis has gained significant importance in natural language processing. However, most existing models and datasets for sentiment analysis are developed for high-resource languages, such as English and Chinese, leaving low-resource languages, particularly African languages, largely unexplored. The AfriSenti-SemEval 2023 Shared Task 12 aims to fill this gap by evaluating sentiment analysis models on low-resource African languages. In this paper, we present our solution to the shared task, where we employed different multilingual XLM-R models with classification head trained on various data, including those retrained in African dialects and fine-tuned on target languages. Our team achieved the third-best results in Subtask B, Track 16: Multilingual, demonstrating the effectiveness of our approach. While our model showed relatively good results on multilingual data, it performed poorly in some languages. Our findings highlight the importance of developing more comprehensive datasets and models for low-resource African languages to advance sentiment analysis research. We also provided the solution on the github repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI