Hallucinations in Large Multilingual Translation Models

要約

大規模な多言語機械翻訳システムは、多数の言語間で直接翻訳する驚くべき能力を実証しており、現実世界のアプリケーションにとってますます魅力的になっています。
ただし、これらのモデルが実際に展開されると、幻覚の翻訳が生成される可能性があり、ユーザーの信頼を著しく損ない、安全上の懸念を引き起こす可能性があります。
幻覚に関する既存の研究は、主に高リソース言語で訓練された小規模なバイリンガル モデルに焦点を当てており、多様な翻訳シナリオにわたる大規模な多言語モデルにおける幻覚の理解にギャップが生じています。
この作業では、従来のニューラル機械翻訳モデルの M2M ファミリーと、翻訳を促すことができる汎用大規模言語モデル ~ (LLM) である ChatGPT の両方について包括的な分析を行うことで、このギャップを埋めます。
私たちの調査は、さまざまなリソース レベルで 100 以上の翻訳方向にまたがり、英語中心の言語ペアにとどまらず、幅広い条件をカバーしています。
幻覚の有病率、特性、緩和に関する重要な洞察を提供し、より責任があり信頼できる機械翻訳システムへの道を開きます。

要約(オリジナル)

Large-scale multilingual machine translation systems have demonstrated remarkable ability to translate directly between numerous languages, making them increasingly appealing for real-world applications. However, when deployed in the wild, these models may generate hallucinated translations which have the potential to severely undermine user trust and raise safety concerns. Existing research on hallucinations has primarily focused on small bilingual models trained on high-resource languages, leaving a gap in our understanding of hallucinations in massively multilingual models across diverse translation scenarios. In this work, we fill this gap by conducting a comprehensive analysis on both the M2M family of conventional neural machine translation models and ChatGPT, a general-purpose large language model~(LLM) that can be prompted for translation. Our investigation covers a broad spectrum of conditions, spanning over 100 translation directions across various resource levels and going beyond English-centric language pairs. We provide key insights regarding the prevalence, properties, and mitigation of hallucinations, paving the way towards more responsible and reliable machine translation systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google