Mitigating Hallucinations and Off-target Machine Translation with Source-Contrastive and Language-Contrastive Decoding

要約

幻覚と的外れな翻訳は、特に低リソース言語や大規模な多言語モデルの場合、MT において未解決の問題のままです。
このペーパーでは、再トレーニングや外部モデルを必要とせずに、修正されたデコード目標を使用してこれらの失敗ケースを軽減する 2 つの関連する方法を紹介します。
ソース対比デコードでは、正しい入力が与えられた場合はあり得るが、ランダムな入力セグメントが与えられた場合はありそうもない翻訳を検索します。
言語対比デコードでは、可能性はあるものの、間違った言語インジケーター トークンが与えられた場合にはありそうもない翻訳を検索します。
大規模多言語モデル M2M-100 (418M) および SMaLL-100 の実験では、これらの方法が幻覚と的外れな翻訳を抑制し、セグメントレベルの chrF2 が 10 未満の翻訳数を平均 67 ～ 83% 削減することが示されています。
57 のテストされた翻訳方向全体で、振動性幻覚を伴う翻訳の数が平均 75 ～ 92% 減少しました。
英語以外の翻訳に関する概念実証では、大規模な言語モデルを使用して的を外れた翻訳を抑制できることも示しました。
ソースコードは https://github.com/ZurichNLP/ContraDecode で公開しています。

要約(オリジナル)

Hallucinations and off-target translation remain unsolved problems in MT, especially for low-resource languages and massively multilingual models. In this paper, we introduce two related methods to mitigate these failure cases with a modified decoding objective, without either requiring retraining or external models. In source-contrastive decoding, we search for a translation that is probable given the correct input, but improbable given a random input segment. In language-contrastive decoding, we search for a translation that is probable, but improbable given the wrong language indicator token. Experiments on the massively multilingual models M2M-100 (418M) and SMaLL-100 show that these methods suppress hallucinations and off-target translations, reducing the number of translations with segment-level chrF2 below 10 by 67-83% on average, and the number of translations with oscillatory hallucinations by 75-92% on average, across 57 tested translation directions. In a proof of concept on out-of-English translation, we also show that we can suppress off-target translations with large language models. We release our source code at https://github.com/ZurichNLP/ContraDecode.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google