TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data

要約

異なるスクリプトを使用する関連言語を共通のスクリプトに音訳すると、下流タスクでの言語間の転送を改善する効果があることがわかります。
ただし、この方法では、音訳によって既存の多言語事前トレーニング言語モデル (mPLM) でカバーされていない新しいサブワードが生じるため、モデルを最初から事前トレーニングすることが避けられないことがよくあります。
事前トレーニングに多くの計算予算がかかるため、これは望ましくありません。
より有望な方法は、利用可能な mPLM を最大限に活用することです。
この目的を達成するために、このホワイト ペーパーでは、mPLM とそれに付随するトークナイザーを活用することで、共通スクリプトに音訳されるデータに適した強力なベースラインを作成できる、シンプルだが効果的なフレームワークである Transliterate-Merge-Initialize (TransMI) を提案します。
TransMI には 3 つの段階があります。(a) mPLM の語彙を共通のスクリプトに音訳します。
(b) 新しい語彙を元の語彙とマージします。
(c) 新しいサブワードの埋め込みを初期化します。
私たちは TransMI を最近の 3 つの強力な mPLM に適用しました。実験では、TransMI が非音訳データを処理する能力を維持するだけでなく、モデルが音訳されたデータを効果的に処理できることを実証しました。結果は、3% から 34% の一貫した改善を示しています。
、モデルやタスクごとに異なります。
私たちはコードとモデルを \url{https://github.com/cisnlp/TransMI} で公開しています。

要約(オリジナル)

Transliterating related languages that use different scripts into a common script shows effectiveness in improving crosslingual transfer in downstream tasks. However, this methodology often makes pretraining a model from scratch unavoidable, as transliteration brings about new subwords not covered in existing multilingual pretrained language models (mPLMs). This is not desired because it takes a lot of computation budget for pretraining. A more promising way is to make full use of available mPLMs. To this end, this paper proposes a simple but effective framework: Transliterate-Merge-Initialize (TransMI), which can create a strong baseline well-suited for data that is transliterated into a common script by exploiting an mPLM and its accompanied tokenizer. TransMI has three stages: (a) transliterate the vocabulary of an mPLM into a common script; (b) merge the new vocabulary with the original vocabulary; and (c) initialize the embeddings of the new subwords. We applied TransMI to three recent strong mPLMs, and our experiments demonstrate that TransMI not only preserves their ability to handle non-transliterated data, but also enables the models to effectively process transliterated data: the results show a consistent improvement of 3% to 34%, varying across different models and tasks. We make our code and models publicly available at \url{https://github.com/cisnlp/TransMI}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google