Leveraging Entailment Judgements in Cross-Lingual Summarisation

要約

合成的に作成されたCross-Lingual Summarisation (CLS)データセットには、参照要約が対応する文書に忠実でない文書-要約のペアが含まれがちである。このようなデータの質の低さは、モデルの学習をミスリードし、評価結果を不明瞭にする。幻覚を評価し、学習を改善する自動的な方法は、主に英語での単言語要約のために提案されてきた。CLSでは、市販のクロスリンガル自然言語推論（X-NLI）を使って、参照とモデル生成要約の忠実度を評価することを提案する。次に、学習データにおける忠実性の問題を意識した学習アプローチを研究し、尤度損失を用いて忠実でない要約列についてモデルを学習させるアプローチを提案する。その結果、同等以上の情報量を維持しながら、より忠実な要約を生成するCLSモデルの学習が可能であることを示す。

要約(オリジナル)

Synthetically created Cross-Lingual Summarisation (CLS) datasets are prone to include document-summary pairs where the reference summary is unfaithful to the corresponding document as it contains content not supported by the document (i.e., hallucinated content). This low data quality misleads model learning and obscures evaluation results. Automatic ways to assess hallucinations and improve training have been proposed for monolingual summarisation, predominantly in English. For CLS, we propose to use off-the-shelf cross-lingual Natural Language Inference (X-NLI) to evaluate faithfulness of reference and model generated summaries. Then, we study training approaches that are aware of faithfulness issues in the training data and propose an approach that uses unlikelihood loss to teach a model about unfaithful summary sequences. Our results show that it is possible to train CLS models that yield more faithful summaries while maintaining comparable or better informativess.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL