An Empirical Study on the Robustness of Massively Multilingual Neural Machine Translation

要約

大規模多言語ニューラル機械翻訳 (MMNMT) は、リソースの少ない言語の翻訳品質を向上させることが証明されています。
この論文では、さまざまな自然発生ノイズに直面した場合のインドネシア語-中国語翻訳の翻訳堅牢性を実証的に調査します。
これを評価するために、インドネシア語 – 中国語翻訳の堅牢性評価ベンチマーク データセットを作成します。
このデータセットは、サイズの異なる 4 つの NLLB-200 モデルを使用して中国語に自動的に翻訳されます。
当社は自動評価と人間による評価の両方を実施します。
当社の綿密な分析により、翻訳エラーの種類と存在するノイズの種類との間の相関関係、これらの相関関係が異なるモデル サイズ間でどのように変化するか、自動評価指標と人間による評価指標の間の関係が明らかになりました。
データセットは https://github.com/tjunlp-lab/ID-ZH-MTRobustEval で公開されています。

要約(オリジナル)

Massively multilingual neural machine translation (MMNMT) has been proven to enhance the translation quality of low-resource languages. In this paper, we empirically investigate the translation robustness of Indonesian-Chinese translation in the face of various naturally occurring noise. To assess this, we create a robustness evaluation benchmark dataset for Indonesian-Chinese translation. This dataset is automatically translated into Chinese using four NLLB-200 models of different sizes. We conduct both automatic and human evaluations. Our in-depth analysis reveal the correlations between translation error types and the types of noise present, how these correlations change across different model sizes, and the relationships between automatic evaluation indicators and human evaluation indicators. The dataset is publicly available at https://github.com/tjunlp-lab/ID-ZH-MTRobustEval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google