Did Translation Models Get More Robust Without Anyone Even Noticing?

要約

ニューラル機械翻訳 (MT) モデルは、さまざまな設定で優れた結果を達成しますが、スペル ミス、略語、その他の書式設定の問題など、「ノイズの多い」入力に対して非常に敏感であると広く考えられています。
このホワイトペーパーでは、機械翻訳に適用される最近の多言語 MT モデルと大規模言語モデル (LLM) を考慮して、この洞察を再検討します。
少し驚くべきことに、我々は、これらのモデルがクリーンなデータに対して同様に動作する場合でも、以前のモデルよりも多くの種類のノイズに対してはるかに堅牢であることを、制御された実験を通じて示しました。
これは注目に値します。LLM には過去のモデルよりも多くのパラメーターとより複雑なトレーニング プロセスがあるにもかかわらず、私たちが検討しているオープン モデルのどれも、堅牢性を促進するために特別に設計された手法を使用していないからです。
次に、同様の傾向がソーシャル メディア翻訳実験にも当てはまることを示します。LLM はソーシャル メディア テキストに対してより堅牢です。
ノイズの影響を軽減するために音源修正技術を使用できる状況の分析も含めます。
総合すると、さまざまな種類のノイズに対する堅牢性が向上していることがわかります。

要約(オリジナル)

Neural machine translation (MT) models achieve strong results across a variety of settings, but it is widely believed that they are highly sensitive to ‘noisy’ inputs, such as spelling errors, abbreviations, and other formatting issues. In this paper, we revisit this insight in light of recent multilingual MT models and large language models (LLMs) applied to machine translation. Somewhat surprisingly, we show through controlled experiments that these models are far more robust to many kinds of noise than previous models, even when they perform similarly on clean data. This is notable because, even though LLMs have more parameters and more complex training processes than past models, none of the open ones we consider use any techniques specifically designed to encourage robustness. Next, we show that similar trends hold for social media translation experiments — LLMs are more robust to social media text. We include an analysis of the circumstances in which source correction techniques can be used to mitigate the effects of noise. Altogether, we show that robustness to many types of noise has increased.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google