Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation

要約

ニューラル機械翻訳 (NMT) は、現実世界の機械翻訳アプリケーションの事実上の標準になっています。
ただし、NMT モデルは、ユーザーの信頼を著しく損なう、幻覚として知られる深刻な病理学的変換を予期せず生成する可能性があります。
したがって、それらの適切な機能を保証するために効果的な予防戦略を実施することが重要になります。
この論文では、単純な直観に従って、NMT における幻覚検出の問題に取り組みます。幻覚はソース コンテンツから切り離されるため、高品質の翻訳とは統計的に異なるエンコーダとデコーダの注意パターンを示します。
我々は、この問題を最適な輸送定式化で組み立て、あらゆる注意ベースの NMT モデルで使用できる、完全に教師なしのプラグイン検出器を提案します。
実験結果は、私たちの検出器が以前のすべてのモデルベースの検出器よりも優れているだけでなく、数百万のサンプルで訓練された大規模なモデルを使用する検出器と競合できることを示しています。

要約(オリジナル)

Neural machine translation (NMT) has become the de-facto standard in real-world machine translation applications. However, NMT models can unpredictably produce severely pathological translations, known as hallucinations, that seriously undermine user trust. It becomes thus crucial to implement effective preventive strategies to guarantee their proper functioning. In this paper, we address the problem of hallucination detection in NMT by following a simple intuition: as hallucinations are detached from the source content, they exhibit encoder-decoder attention patterns that are statistically different from those of good quality translations. We frame this problem with an optimal transport formulation and propose a fully unsupervised, plug-in detector that can be used with any attention-based NMT model. Experimental results show that our detector not only outperforms all previous model-based detectors, but is also competitive with detectors that employ large models trained on millions of samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google