Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation

要約

ニューラル機械翻訳（NMT）における幻覚の問題は注目されているが、この非常に病的な現象に関する研究は、確固たる基盤を欠いている。これまでの研究は、問題が増幅されるような人工的な設定に頼ることが多く、いくつかの（一般的な）幻覚のタイプを無視しており、検出ヒューリスティックの妥当性を検証していないなど、いくつかの点で限界があった。本論文では、NMT幻覚の研究のための基礎を構築する。まず、自然な環境、すなわち、訓練や推論において人工的なノイズのない実環境のデータで作業を行う。次に、3.4k以上の文からなるデータセットに、様々な種類の重大な誤りや幻覚を示す注釈を付ける。次に、検出方法について、以前に使用された方法を再検討し、グラスボックスの不確実性に基づく検出器を使用することを提案する。全体として、予防的な設定において、(i)以前に使用された方法はほとんど不十分であること、(ii)配列対数確率が最も有効で、参照ベースの方法と同等の性能を示すことが示された。最後に、テスト時に幻覚を軽減するための簡単な方法であるDeHallucinatorを提案し、幻覚発生率を大幅に低減する。今後の研究を容易にするため、モデル、トレーニングデータ、コードとともに、WMT18ドイツ語・英語データの注釈付きデータセットを公開します。

要約(オリジナル)

Although the problem of hallucinations in neural machine translation (NMT) has received some attention, research on this highly pathological phenomenon lacks solid ground. Previous work has been limited in several ways: it often resorts to artificial settings where the problem is amplified, it disregards some (common) types of hallucinations, and it does not validate adequacy of detection heuristics. In this paper, we set foundations for the study of NMT hallucinations. First, we work in a natural setting, i.e., in-domain data without artificial noise neither in training nor in inference. Next, we annotate a dataset of over 3.4k sentences indicating different kinds of critical errors and hallucinations. Then, we turn to detection methods and both revisit methods used previously and propose using glass-box uncertainty-based detectors. Overall, we show that for preventive settings, (i) previously used methods are largely inadequate, (ii) sequence log-probability works best and performs on par with reference-based methods. Finally, we propose DeHallucinator, a simple method for alleviating hallucinations at test time that significantly reduces the hallucinatory rate. To ease future research, we release our annotated dataset for WMT18 German-English data, along with the model, training data, and code.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL