Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models

要約

大規模な多言語機械翻訳モデルでは、単一のモデルで多数の言語の翻訳が可能ですが、低リソースおよび非常に低リソースの翻訳方向ではパフォーマンスが制限されます。
高リソース言語を介したピボットは、低リソース方向に対する強力な戦略であり続けており、このホワイトペーパーでは、複数の言語を介したピボットの方法を再検討します。
以前の研究では、複数のパスからの確率分布の単純な平均を使用していましたが、これは単一のピボットを使用するよりもパフォーマンスが悪く、異なるパスにわたって同じ幻覚が発生する可能性があるため、幻覚の問題が悪化することがわかりました。
代替案として、最も信頼できる予測に偏った組み合わせ戦略である MaxEns を提案し、信頼できる予測は幻覚になる可能性が低いという仮説を立てます。
20 の低リソース言語の方向について FLORES ベンチマークでさまざまな戦略を評価し、直接翻訳と平均化アプローチの両方と比較して、MaxEns が翻訳中の幻覚を軽減しながら、低リソース言語の翻訳品質を向上させることを実証しました。
平均して、マルチピボット戦略は依然として英語を単一のピボット言語として使用する場合に比べて遅れており、特定の翻訳方向に最適なピボット戦略をどのように特定するかという問題が生じています。

要約(オリジナル)

Massively multilingual machine translation models allow for the translation of a large number of languages with a single model, but have limited performance on low- and very-low-resource translation directions. Pivoting via high-resource languages remains a strong strategy for low-resource directions, and in this paper we revisit ways of pivoting through multiple languages. Previous work has used a simple averaging of probability distributions from multiple paths, but we find that this performs worse than using a single pivot, and exacerbates the hallucination problem because the same hallucinations can be probable across different paths. As an alternative, we propose MaxEns, a combination strategy that is biased towards the most confident predictions, hypothesising that confident predictions are less prone to be hallucinations. We evaluate different strategies on the FLORES benchmark for 20 low-resource language directions, demonstrating that MaxEns improves translation quality for low-resource languages while reducing hallucination in translations, compared to both direct translation and an averaging approach. On average, multi-pivot strategies still lag behind using English as a single pivot language, raising the question of how to identify the best pivoting strategy for a given translation direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google