Masakhane-Afrisenti at SemEval-2023 Task 12: Sentiment Analysis using Afro-centric Language Models and Adapters for Low-resource African Languages

要約

【タイトル】
Masakhane-Afrisenti at SemEval-2023 Task 12: Sentiment Analysis using Afro-centric Language Models and Adapters for Low-resource African Languages

【要約】
・AfriSenti-SemEvalの共同タスク12は、12のアフリカ言語に対して単一言語の感情分類（サブタスクA）、多言語感情分類（サブタスクB）、ゼロショット感情分類（タスクC）を実行することを目的としている。
・サブタスクAについては、古典的な機械学習分類器、アフロセントリックな言語モデル、言語固有のモデルを用いた実験を行った。
・タスクBについては、タスクの多くの言語をサポートするマルチリンガルな事前学習言語モデルをファインチューニングした。
・タスクCについては、ターゲット言語の単一言語テキストを活用するパラメーター効率の良いアダプター手法を使用した。実験結果により、事前学習されたアフロセントリックな言語モデルを使用することにより、リソースが少ないアフリカ言語向けの性能が向上することが示された。
・また、ゼロショットタスクにアダプタを使用した実験も行い、限られたリソースで良好な結果を得ることができることが示唆された。

要約(オリジナル)

AfriSenti-SemEval Shared Task 12 of SemEval-2023. The task aims to perform monolingual sentiment classification (sub-task A) for 12 African languages, multilingual sentiment classification (sub-task B), and zero-shot sentiment classification (task C). For sub-task A, we conducted experiments using classical machine learning classifiers, Afro-centric language models, and language-specific models. For task B, we fine-tuned multilingual pre-trained language models that support many of the languages in the task. For task C, we used we make use of a parameter-efficient Adapter approach that leverages monolingual texts in the target language for effective zero-shot transfer. Our findings suggest that using pre-trained Afro-centric language models improves performance for low-resource African languages. We also ran experiments using adapters for zero-shot tasks, and the results suggest that we can obtain promising results by using adapters with a limited amount of resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI