AlignFreeze: Navigating the Impact of Realignment on the Layers of Multilingual Models Across Diverse Languages

要約

再編成技術は、多言語モデルの横断的転送を強化するためにしばしば採用されていますが、それでも、微調整されたソース言語とは大きく異なる言語のパフォーマンスを低下させることがあります。
このペーパーでは、再編成中にレイヤーの下半分または上半分をフリーズする方法であるAlignFreezeを紹介します。
4つのタスク、3つのモデル、および35の言語での制御された実験により、再編成はすべてのレイヤーに影響を与えるが、低いレイヤーにとって最も有害な場合があることがわかります。
下層を凍結すると、性能の低下を防ぐことができます。
特に、AlignFreezeは、完全な再編成が失敗する言語のスピーチ（POS）のタグ付けパフォーマンスを改善します。XLM-Rを使用すると、完全な再調整よりも7つの言語での精度の複数の標準偏差の改善を提供します。

要約(オリジナル)

Realignment techniques are often employed to enhance cross-lingual transfer in multilingual language models, still, they can sometimes degrade performance in languages that differ significantly from the fine-tuned source language. This paper introduces AlignFreeze, a method that freezes either the layers’ lower half or upper half during realignment. Through controlled experiments on 4 tasks, 3 models, and in 35 languages, we find that realignment affects all the layers but can be the most detrimental to the lower ones. Freezing the lower layers can prevent performance degradation. Particularly, AlignFreeze improves Part-of-Speech (PoS) tagging performances in languages where full realignment fails: with XLM-R, it provides improvements of more than one standard deviation in accuracy in seven more languages than full realignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google