Learning Language-Specific Layers for Multilingual Machine Translation

要約

タイトル：多言語機械翻訳のための言語固有レイヤーの学習
要約：
– 多言語機械翻訳は、英語以外の言語間の翻訳品質を向上させることを目的としている。
– 翻訳を2回行う必要がなく、性別やフォーマルな情報が失われることを避けるなど、利点がある。
– しかし、より多くの言語を追加することで、一言語あたりのモデル容量が減少し、モデルのサイズを大きくする必要がある。
– 本研究では、言語固有トランスフォーマーレイヤー（LSL）を導入し、モデル容量を増やしたまま、計算量とパラメータの数を一定に保つことができる。
– エンコーダの一部をソースまたはターゲット言語固有レイヤーにすることで、レイヤーを配置する最適な方法を研究し、ニューラルアーキテクチャの検索に基づいて、LSLを使用しない場合より1.3 chrF（1.5 spBLEU）ポイント、共有デコーダを使用する場合より1.9 chrF（2.2 spBLEU）を改善した。

要約(オリジナル)

Multilingual Machine Translation promises to improve translation quality between non-English languages. This is advantageous for several reasons, namely lower latency (no need to translate twice), and reduced error cascades (e.g., avoiding losing gender and formality information when translating through English). On the downside, adding more languages reduces model capacity per language, which is usually countered by increasing the overall model size, making training harder and inference slower. In this work, we introduce Language-Specific Transformer Layers (LSLs), which allow us to increase model capacity, while keeping the amount of computation and the number of parameters used in the forward pass constant. The key idea is to have some layers of the encoder be source or target language-specific, while keeping the remaining layers shared. We study the best way to place these layers using a neural architecture search inspired approach, and achieve an improvement of 1.3 chrF (1.5 spBLEU) points over not using LSLs on a separate decoder architecture, and 1.9 chrF (2.2 spBLEU) on a shared decoder one.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI