Do Not Change Me: On Transferring Entities Without Modification in Neural Machine Translation — a Multilingual Perspective

要約

現在の機械翻訳モデルは、ほとんどのシナリオで高品質の出力を提供します。
ただし、翻訳中にどのエンティティを変更すべきではないかを検出するなど、いくつかの特定の問題に直面しています。
この論文では、OPUSプロジェクト、Google Translate、Madlad、およびEurollmのモデルを含む人気のあるNMTモデルの能力を調査して、英語、ドイツ語、ポーランド語、ウクライナ人の4つの言語間で翻訳を作成する際にURLアドレス、イバン番号、電子メールなどのエンティティを保存します。
人気のあるNMTモデルの品質を精度の観点から調査し、モデルによって作成されたエラーについて議論し、エラーの理由を調べます。
私たちの分析は、絵文字などの特定のカテゴリを強調しており、考慮される多くのモデルに大きな課題をもたらします。
分析に加えて、9つのカテゴリと4つの前述の言語にわたるエンティティ転送の質を評価するのに役立つ36,000文の新しい多言語合成データセットを提案します。

要約(オリジナル)

Current machine translation models provide us with high-quality outputs in most scenarios. However, they still face some specific problems, such as detecting which entities should not be changed during translation. In this paper, we explore the abilities of popular NMT models, including models from the OPUS project, Google Translate, MADLAD, and EuroLLM, to preserve entities such as URL addresses, IBAN numbers, or emails when producing translations between four languages: English, German, Polish, and Ukrainian. We investigate the quality of popular NMT models in terms of accuracy, discuss errors made by the models, and examine the reasons for errors. Our analysis highlights specific categories, such as emojis, that pose significant challenges for many models considered. In addition to the analysis, we propose a new multilingual synthetic dataset of 36,000 sentences that can help assess the quality of entity transfer across nine categories and four aforementioned languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google