Assessing the Role of Lexical Semantics in Cross-lingual Transfer through Controlled Manipulations

要約

言語を越えたモデルの伝達​​は多くの設定で効果的ですが、それが機能する条件についてはまだ理解が限られています。
この論文では、言語間の伝達における語彙意味論の役割を評価することに焦点を当て、その影響を他の言語特性の影響と比較します。
それぞれの言語特性を個別に調べて、英語とターゲット言語の違いが言語を英語の事前訓練された表現空間に合わせる能力にどのような影響を与えるかを体系的に分析します。
これは、ターゲット言語の特定の特性を模倣する方法で英語の文章を人為的に操作し、表現空間との整合の質に対する各操作の影響を報告することによって行われます。
文字や語順などのプロパティはアライメントの品質に限定的な影響しか与えませんが、翻訳エントロピーの尺度を使用して定義した 2 つの言語間の語彙一致の程度は、アライメントの品質に大きな影響を与えることを示します。

要約(オリジナル)

While cross-linguistic model transfer is effective in many settings, there is still limited understanding of the conditions under which it works. In this paper, we focus on assessing the role of lexical semantics in cross-lingual transfer, as we compare its impact to that of other language properties. Examining each language property individually, we systematically analyze how differences between English and a target language influence the capacity to align the language with an English pretrained representation space. We do so by artificially manipulating the English sentences in ways that mimic specific characteristics of the target language, and reporting the effect of each manipulation on the quality of alignment with the representation space. We show that while properties such as the script or word order only have a limited impact on alignment quality, the degree of lexical matching between the two languages, which we define using a measure of translation entropy, greatly affects it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google