Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification

要約

最近の研究では、事前トレーニングされた多言語トランスフォーマーの顕著な能力、特に言語間の伝達性が実証されました。
しかし、現在の方法では言語間の伝達可能性を十分に測定できず、多言語トランスフォーマーの理解を妨げています。
この論文では、文分類タスクにおける多言語トランスフォーマーのための言語間伝達可能性メトリックである IGap を提案します。
IGap はトレーニング誤差を考慮し、エンドタスク データなしで転送可能性を推定することもできます。
実験結果は、IGap が転送可能性の測定と転送方向のランキングのベースライン指標を上回るパフォーマンスを示していることを示しています。
さらに、さまざまな多言語トランスフォーマー間の転送可能性、アルゴリズムの微調整、転送方向を比較する広範な体系的な実験を行っています。
さらに重要なことは、私たちの結果から、言語間の転送に関する 3 つの発見が明らかになり、多言語トランスフォーマーをより深く理解するのに役立ちます。

要約(オリジナル)

Recent studies have exhibited remarkable capabilities of pre-trained multilingual Transformers, especially cross-lingual transferability. However, current methods do not measure cross-lingual transferability well, hindering the understanding of multilingual Transformers. In this paper, we propose IGap, a cross-lingual transferability metric for multilingual Transformers on sentence classification tasks. IGap takes training error into consideration, and can also estimate transferability without end-task data. Experimental results show that IGap outperforms baseline metrics for transferability measuring and transfer direction ranking. Besides, we conduct extensive systematic experiments where we compare transferability among various multilingual Transformers, fine-tuning algorithms, and transfer directions. More importantly, our results reveal three findings about cross-lingual transfer, which helps us to better understand multilingual Transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google