UoB-NLP at SemEval-2025 Task 11: Leveraging Adapters for Multilingual and Cross-Lingual Emotion Detection

要約

自然言語処理における感情検出は、人間の感情と言語の多様性の複雑さのために、困難な作業です。
高リソース言語では大きな進歩がありましたが、低リソース言語での感情検出は未定のままです。
この作業では、アダプターベースの微調整を多言語の事前訓練モデルと活用することにより、多言語および言語間の感情検出に対処します。
アダプターは、事前に訓練されたモデルの重みを固定しながら、少数のトレーニング可能なパラメーターを導入し、適応に対するパラメーター効率の高いアプローチを提供します。
タスクのみのアダプター、ターゲット言語対応タスクアダプター、言語ファミリーベースのアダプターなど、さまざまなアダプターチューニング戦略を実験します。
我々の結果は、ターゲット言語対応タスクアダプターが最高の全体的なパフォーマンスを達成することを示しています。特に、リソースの低いアフリカの言語では、チームがティグリニャで7位、トラックCでキニャルワンダで8位にランクされていることが示されています。
私たちのアプローチは、11の言語で大きな言語モデルよりも優れており、パラメーターが大幅に少ないにもかかわらず、他の4つの言語でのパフォーマンスと一致します。
さらに、アダプターベースのモデルは、言語間転送機能を保持しながら、各言語の完全な微調整と比較して計算リソースが少ないことがわかります。

要約(オリジナル)

Emotion detection in natural language processing is a challenging task due to the complexity of human emotions and linguistic diversity. While significant progress has been made in high-resource languages, emotion detection in low-resource languages remains underexplored. In this work, we address multilingual and cross-lingual emotion detection by leveraging adapter-based fine-tuning with multilingual pre-trained language models. Adapters introduce a small number of trainable parameters while keeping the pre-trained model weights fixed, offering a parameter-efficient approach to adaptation. We experiment with different adapter tuning strategies, including task-only adapters, target-language-ready task adapters, and language-family-based adapters. Our results show that target-language-ready task adapters achieve the best overall performance, particularly for low-resource African languages with our team ranking 7th for Tigrinya, and 8th for Kinyarwanda in Track A. In Track C, our system ranked 3rd for Amharic, and 4th for Oromo, Tigrinya, Kinyarwanda, Hausa, and Igbo. Our approach outperforms large language models in 11 languages and matches their performance in four others, despite our models having significantly fewer parameters. Furthermore, we find that adapter-based models retain cross-linguistic transfer capabilities while requiring fewer computational resources compared to full fine-tuning for each language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google