Exploring Representational Disparities Between Multilingual and Bilingual Translation Models

要約

多言語機械翻訳は、完全な多言語パラメータ共有を通じて、多くの言語ペアにわたるパラメータ効率と全体的なパフォーマンスの両方に非常に役立つことが証明されています。
ただし、多言語モデルの一部の言語ペアでは、特に 1 対多の翻訳設定で、二言語モデルよりもパフォーマンスが低下する可能性があります。
経験的な違いに基づいて、二言語モデルの表現と 1 対多の多言語モデルの表現における幾何学的差異を調べます。
具体的には、表現が基礎となるベクトル空間の次元をどのように利用しているかを測定するために、固有の次元性と IsoScore を使用してこれらの表現の等方性を計算します。
両方のモデルで同じ評価データを使用すると、特定の言語ペアについて、その多言語モデル デコーダー表現は、同等の二言語モデル デコーダー表現よりも一貫して等方性が低く、占有次元が少ないことがわかります。
さらに、多言語デコーダ表現の異方性の多くは言語固有の情報のモデリングに起因する可能性があるため、残りの表現能力が制限されることを示します。

要約(オリジナル)

Multilingual machine translation has proven immensely useful for both parameter efficiency and overall performance across many language pairs via complete multilingual parameter sharing. However, some language pairs in multilingual models can see worse performance than in bilingual models, especially in the one-to-many translation setting. Motivated by their empirical differences, we examine the geometric differences in representations from bilingual models versus those from one-to-many multilingual models. Specifically, we compute the isotropy of these representations using intrinsic dimensionality and IsoScore, in order to measure how the representations utilize the dimensions in their underlying vector space. Using the same evaluation data in both models, we find that for a given language pair, its multilingual model decoder representations are consistently less isotropic and occupy fewer dimensions than comparable bilingual model decoder representations. Additionally, we show that much of the anisotropy in multilingual decoder representations can be attributed to modeling language-specific information, therefore limiting remaining representational capacity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google