Analysing Cross-Lingual Transfer in Low-Resourced African Named Entity Recognition

要約

転移学習により、ほぼすべての NLP タスクのパフォーマンスが大幅に向上し、下流モデルのトレーニングがより簡単かつ迅速になりました。
これはリソースの少ない言語にも拡張され、ある程度の成功を収めています。
私たちは、固有表現認識タスクの観点から、10 の低リソース言語間の言語間転移学習の特性を調査します。
特に、適応微調整と転送言語の選択がゼロショット転送パフォーマンスにどの程度影響するかを調査します。
単一言語で優れたパフォーマンスを発揮するモデルは、多くの場合、他の言語への一般化を犠牲にしてそのパフォーマンスを発揮する一方、他の言語への最適な一般化を備えたモデルは、個々の言語のパフォーマンスに影響を与えることがわかりました。
さらに、ソース データセットとターゲット データセットの間で重複するデータの量は、言語間の地理的距離または遺伝的距離よりも転送パフォーマンスの優れた予測因子となります。

要約(オリジナル)

Transfer learning has led to large gains in performance for nearly all NLP tasks while making downstream models easier and faster to train. This has also been extended to low-resourced languages, with some success. We investigate the properties of cross-lingual transfer learning between ten low-resourced languages, from the perspective of a named entity recognition task. We specifically investigate how much adaptive fine-tuning and the choice of transfer language affect zero-shot transfer performance. We find that models that perform well on a single language often do so at the expense of generalising to others, while models with the best generalisation to other languages suffer in individual language performance. Furthermore, the amount of data overlap between the source and target datasets is a better predictor of transfer performance than either the geographical or genetic distance between the languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google