Measuring Catastrophic Forgetting in Cross-Lingual Transfer Paradigms: Exploring Tuning Strategies

要約

言語間の転送は、リソースの少ない言語でタスクを解決するための有望な手法です。
この実証研究では、言語を超えた環境における大規模な言語モデルに対して、ゼロショットおよびフルショット学習アプローチと組み合わせた 2 つの微調整アプローチを比較します。
微調整戦略として、パラメーター効率の高いアダプター方法とすべてのパラメーターの微調整を比較します。
言語間の転移戦略として、各言語を順番に使用する中間トレーニング (\textit{IT}) と、すでに段階的に検証段階に入っているターゲット言語を使用する言語間の検証 (\textit{CLV}) を比較します。
チューニング。
私たちは、転移の成功と、言語を越えた転移によるソース言語の壊滅的な忘却の程度、つまり、別の言語で新しい情報を学習したときに、以前に獲得した知識がどの程度失われるかを評価します。
ヘイトスピーチ検出と製品レビューという 2 つの異なる分類問題の結果は、それぞれに複数の言語のデータセットが含まれており、\textit{IT} の言語横断戦略が対象言語に対して \textit{CLV} よりも優れていることが示されています。
私たちの調査結果は、複数の言語間での伝達における致命的な忘れを評価する場合、ほとんどの場合、\textit{IT} 戦略と比較して、\textit{CLV} 戦略が基本言語 (英語) での知識の保持に優れていることを示しています。
。

要約(オリジナル)

The cross-lingual transfer is a promising technique to solve tasks in less-resourced languages. In this empirical study, we compare two fine-tuning approaches combined with zero-shot and full-shot learning approaches for large language models in a cross-lingual setting. As fine-tuning strategies, we compare parameter-efficient adapter methods with fine-tuning of all parameters. As cross-lingual transfer strategies, we compare the intermediate-training (\textit{IT}) that uses each language sequentially and cross-lingual validation (\textit{CLV}) that uses a target language already in the validation phase of fine-tuning. We assess the success of transfer and the extent of catastrophic forgetting in a source language due to cross-lingual transfer, i.e., how much previously acquired knowledge is lost when we learn new information in a different language. The results on two different classification problems, hate speech detection and product reviews, each containing datasets in several languages, show that the \textit{IT} cross-lingual strategy outperforms \textit{CLV} for the target language. Our findings indicate that, in the majority of cases, the \textit{CLV} strategy demonstrates superior retention of knowledge in the base language (English) compared to the \textit{IT} strategy, when evaluating catastrophic forgetting in multiple cross-lingual transfers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google