Fine-Tuning BERT with Character-Level Noise for Zero-Shot Transfer to Dialects and Closely-Related Languages

要約

タイトル： ダイアレクトと関連する言語へのゼロショット転移のための文字レベルノイズを用いたBERTの微調整

要約：
– BERTの微調整において、文字レベルで様々な形式のノイズを導入することで、未知の方言や言語に対するゼロショットクロスリンガル転移を可能にする。
– 3つの文レベル分類タスクでBERTを微調整し、未知の方言や言語に対するアプローチを評価する。
– 特定の条件下では、文字レベルノイズはクロスリンガル転移に極めて効果的な手段であることが分かるが、他の場合ではそうではない。具体的には、タスクの性質やソースとターゲット言語の関係によってこれらの違いを探求し、微調整中に文字レベルノイズを導入することが、表層レベルの手掛かりを利用するタスクや、ソース-ターゲットクロスリンガルペアの平均トークン長が短い（つまり、意味が少ない）場合に特に有効であることが分かる。

要約(オリジナル)

In this work, we induce character-level noise in various forms when fine-tuning BERT to enable zero-shot cross-lingual transfer to unseen dialects and languages. We fine-tune BERT on three sentence-level classification tasks and evaluate our approach on an assortment of unseen dialects and languages. We find that character-level noise can be an extremely effective agent of cross-lingual transfer under certain conditions, while it is not as helpful in others. Specifically, we explore these differences in terms of the nature of the task and the relationships between source and target languages, finding that introduction of character-level noise during fine-tuning is particularly helpful when a task draws on surface level cues and the source-target cross-lingual pair has a relatively high lexical overlap with shorter (i.e., less meaningful) unseen tokens on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI