Machine-Created Universal Language for Cross-lingual Transfer

要約

言語間の転送に対処するには、主に 2 つのアプローチがあります。1 つは、さまざまな言語の隠れた表現を暗黙的に調整する多言語事前トレーニングで、もう 1 つは、さまざまな言語を英語などの中間言語に明示的に翻訳する翻訳テストです。
翻訳テストは、多言語の事前トレーニングと比較して、より優れた解釈可能性を提供します。
ただし、多言語の事前トレーニング (Conneau and Lample、2019; Conneau et al、2020) よりもパフォーマンスが低く、翻訳によって語順が変更されるため、単語レベルのタスクに苦労します。
その結果、代替中間言語として新しい機械作成ユニバーサル言語 (MUL) を提案します。
MUL は、普遍的な語彙を形成する一連の個別のシンボルと、複数の自然言語を MUL に変換するための自然言語から MUL へのトランスレータで構成されます。
MUL は、さまざまな言語の共有概念を単一の普遍的な単語に統合し、言語間の伝達を強化します。
さらに、MUL は言語固有の単語と語順を保持するため、モデルを単語レベルのタスクに簡単に適用できます。
私たちの実験では、MUL に翻訳すると、多言語の事前トレーニングと比較してパフォーマンスが向上することが実証されており、分析では、MUL が強力な解釈可能性を備えていることが示されています。
コードは https://github.com/microsoft/Unicoder/tree/master/MCUL にあります。

要約(オリジナル)

There are two primary approaches to addressing cross-lingual transfer: multilingual pre-training, which implicitly aligns the hidden representations of various languages, and translate-test, which explicitly translates different languages into an intermediate language, such as English. Translate-test offers better interpretability compared to multilingual pre-training. However, it has lower performance than multilingual pre-training(Conneau and Lample, 2019; Conneau et al, 2020) and struggles with word-level tasks due to translation altering word order. As a result, we propose a new Machine-created Universal Language (MUL) as an alternative intermediate language. MUL comprises a set of discrete symbols forming a universal vocabulary and a natural language to MUL translator for converting multiple natural languages to MUL. MUL unifies shared concepts from various languages into a single universal word, enhancing cross-language transfer. Additionally, MUL retains language-specific words and word order, allowing the model to be easily applied to word-level tasks. Our experiments demonstrate that translating into MUL yields improved performance compared to multilingual pre-training, and our analysis indicates that MUL possesses strong interpretability. The code is at: https://github.com/microsoft/Unicoder/tree/master/MCUL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google