Detecting and Mitigating Hallucinations in Multilingual Summarisation

要約

幻覚は、抽象的な要約のための神経モデルの信頼性に重​​大な課題をもたらします。
自動的に生成された要約は流暢であるかもしれませんが、多くの場合、元の文書に対する忠実さが欠けています。
この問題は、言語を越えた転送など、リソースが少ない環境ではさらに顕著になります。
英語に焦点を当てた既存の忠実な指標では、言語を越えた環境でこの現象の程度を測定することさえ困難です。
これに対処するために、私たちはまず、複数の英語の忠実度指標からの翻訳ベースの転送を活用して、英語以外の要約の忠実度を評価する新しい指標 mFACT を開発します。
次に、各トレーニング サンプルの損失をその忠実度スコアによって評価する、クロスリンガル転送によって幻覚を軽減するシンプルだが効果的な方法を提案します。
複数の言語での広範な実験を通じて、私たちは mFACT が幻覚の検出に最も適した指標であることを実証しました。
さらに、私たちが提案した損失重み付け方法は、MAD-X などの言語間伝達の強力なベースラインと比較した場合、自動評価と人間による評価の両方に従って、パフォーマンスと忠実性の両方が大幅に向上することがわかりました。
コードとデータセットは https://github.com/yfqiu-nlp/mfact-summ で入手できます。

要約(オリジナル)

Hallucinations pose a significant challenge to the reliability of neural models for abstractive summarisation. While automatically generated summaries may be fluent, they often lack faithfulness to the original document. This issue becomes even more pronounced in low-resource settings, such as cross-lingual transfer. With the existing faithful metrics focusing on English, even measuring the extent of this phenomenon in cross-lingual settings is hard. To address this, we first develop a novel metric, mFACT, evaluating the faithfulness of non-English summaries, leveraging translation-based transfer from multiple English faithfulness metrics. We then propose a simple but effective method to reduce hallucinations with a cross-lingual transfer, which weighs the loss of each training example by its faithfulness score. Through extensive experiments in multiple languages, we demonstrate that mFACT is the metric that is most suited to detect hallucinations. Moreover, we find that our proposed loss weighting method drastically increases both performance and faithfulness according to both automatic and human evaluation when compared to strong baselines for cross-lingual transfer such as MAD-X. Our code and dataset are available at https://github.com/yfqiu-nlp/mfact-summ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google