Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets

要約

多言語言語モデル (MLLM) は、堅牢な言語間転送機能、つまりソース言語で取得した情報を活用してターゲット言語に適用する機能を示します。
これらの機能は、固有表現認識 (NER) などの確立された自然言語処理 (NLP) タスクに実用的に応用できます。
この研究は、特に入力テスト セットを混乱させるコンテキストにおいて、ソース言語をターゲット言語に適用した場合の有効性を調査することを目的としています。
13 の言語ペアで評価します。各ペアには、地理的、遺伝的、または借用関係を持つ 1 つの高リソース言語 (HRL) と 1 つの低リソース言語 (LRL) が含まれます。
我々は、2 つのよく知られた MLLM (MBERT と XLM-R) を、ネイティブ LRL および言語間伝達設定で、これらのペアについて、一連の異なる摂動の下で 2 つのタスクで評価します。
私たちの調査結果は、NER の言語間伝達がエンティティ チャンクの重複に大きく依存していることを示しています。
ソース言語とターゲット言語に共通するエンティティが多ければ多いほど、転送能力はより強力になります。
また、言語間伝達を使用したモデルは、入力の特定の摂動に対していくぶん堅牢であるように見えます。これは、おそらく HRL から派生したより強力な表現を活用できることを示しています。
私たちの研究は、言語を越えた伝達とそれが NLP アプリケーションに与える影響についての貴重な洞察を提供し、異なる言語間で MLLM を採用する際には言語のニュアンスと潜在的な制限を考慮する必要性を強調しています。

要約(オリジナル)

Multilingual Language Models (MLLMs) exhibit robust cross-lingual transfer capabilities, or the ability to leverage information acquired in a source language and apply it to a target language. These capabilities find practical applications in well-established Natural Language Processing (NLP) tasks such as Named Entity Recognition (NER). This study aims to investigate the effectiveness of a source language when applied to a target language, particularly in the context of perturbing the input test set. We evaluate on 13 pairs of languages, each including one high-resource language (HRL) and one low-resource language (LRL) with a geographic, genetic, or borrowing relationship. We evaluate two well-known MLLMs–MBERT and XLM-R–on these pairs, in native LRL and cross-lingual transfer settings, in two tasks, under a set of different perturbations. Our findings indicate that NER cross-lingual transfer depends largely on the overlap of entity chunks. If a source and target language have more entities in common, the transfer ability is stronger. Models using cross-lingual transfer also appear to be somewhat more robust to certain perturbations of the input, perhaps indicating an ability to leverage stronger representations derived from the HRL. Our research provides valuable insights into cross-lingual transfer and its implications for NLP applications, and underscores the need to consider linguistic nuances and potential limitations when employing MLLMs across distinct languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google