mFACE: Multilingual Summarization with Factual Consistency Evaluation

要約

抽象的な要約は、事前トレーニングされた言語モデルと大規模なデータセットの利用可能性のおかげで、近年新たな関心を集めています。
有望な結果にもかかわらず、現在のモデルは依然として事実と矛盾した要約を生成するという問題に悩まされており、現実世界への応用での有用性が低下しています。
最近のいくつかの取り組みでは、機械が生成した要約内の事実の不一致を自動的に検出するモデルを考案することで、この問題に対処しようとしています。
ただし、彼らは豊富なリソースを持つ言語である英語のみに焦点を当てています。
この作業では、事実の一貫性評価モデルを活用して、多言語要約を改善します。
私たちは、多言語 NLI モデルによって提供される信号に基づいて幻覚を軽減するための 2 つの直感的なアプローチ、つまりデータ フィルタリングと制御された生成を検討します。
XLSum データセットからの 45 言語の実験結果では、自動評価と人間による評価の両方で、強力なベースラインを超える改善が示されています。

要約(オリジナル)

Abstractive summarization has enjoyed renewed interest in recent years, thanks to pre-trained language models and the availability of large-scale datasets. Despite promising results, current models still suffer from generating factually inconsistent summaries, reducing their utility for real-world application. Several recent efforts attempt to address this by devising models that automatically detect factual inconsistencies in machine generated summaries. However, they focus exclusively on English, a language with abundant resources. In this work, we leverage factual consistency evaluation models to improve multilingual summarization. We explore two intuitive approaches to mitigate hallucinations based on the signal provided by a multilingual NLI model, namely data filtering and controlled generation. Experimental results in the 45 languages from the XLSum dataset show gains over strong baselines in both automatic and human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google