The Impact of Cross-Lingual Adjustment of Contextual Word Representations on Zero-Shot Transfer

要約

mBERT や XLM-R などの大規模な多言語言語モデルにより、さまざまな IR タスクや NLP タスクで言語間転送をゼロショットで行うことができます。
曹氏ら。
(2020) は、小さな並列コーパスを使用して、言語間の類似した関連単語の埋め込みを作成する、mBERT の言語間調整のためのデータ効率と計算効率の高い方法を提案しました。
彼らは、ヨーロッパの 5 つの言語に対して NLI が有効であることを示しました。
対照的に、私たちは類型的に多様な言語セット (スペイン語、ロシア語、ベトナム語、ヒンディー語) を試し、その元の実装を新しいタスク (XSR、NER、QA) と追加のトレーニング体制 (継続的学習) に拡張します。
私たちの研究では、4 つの言語で NLI の向上が再現され、3 つの言語で NER、XSR、およびクロスリンガル QA の結果が向上しました (ただし、一部のクロスリンガル QA の向上は統計的に有意ではありませんでした)。一方で、単一言語の QA パフォーマンスはまったく改善されず、場合によっては低下しました。
。
（言語間で）関連する単語と無関係な単語の文脈化された埋め込み間の距離を分析したところ、微調整により言語間の対応関係情報の一部が「忘れられる」ことがわかりました。
この観察に基づいて、継続的な学習を使用して NLI のパフォーマンスをさらに向上させました。

要約(オリジナル)

Large multilingual language models such as mBERT or XLM-R enable zero-shot cross-lingual transfer in various IR and NLP tasks. Cao et al. (2020) proposed a data- and compute-efficient method for cross-lingual adjustment of mBERT that uses a small parallel corpus to make embeddings of related words across languages similar to each other. They showed it to be effective in NLI for five European languages. In contrast we experiment with a typologically diverse set of languages (Spanish, Russian, Vietnamese, and Hindi) and extend their original implementations to new tasks (XSR, NER, and QA) and an additional training regime (continual learning). Our study reproduced gains in NLI for four languages, showed improved NER, XSR, and cross-lingual QA results in three languages (though some cross-lingual QA gains were not statistically significant), while mono-lingual QA performance never improved and sometimes degraded. Analysis of distances between contextualized embeddings of related and unrelated words (across languages) showed that fine-tuning leads to ‘forgetting’ some of the cross-lingual alignment information. Based on this observation, we further improved NLI performance using continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google