Correction with Backtracking Reduces Hallucination in Summarization

要約

抽象的な要約は、重要な要素を保持しながら簡潔なソース文書の自然言語要約を生成することを目的としています。
最近の進歩にも関わらず、ニューラル テキスト要約モデルは幻覚 (より正確には作話) を引き起こしやすいことが知られています。つまり、ソース文書に根拠のない詳細を含む要約が生成されることです。
この論文では、抽象的な要約における幻覚を軽減するための、シンプルかつ効率的な手法 CoBa を紹介します。
このアプローチは、幻覚の検出と軽減という 2 つのステップに基づいています。
前者は、条件付き単語の確率と文脈単語までの距離に関する単純な統計を測定することで達成できることを示します。
さらに、我々は、単純なバックトラッキングが軽減に驚くほど効果的であることを実証します。
テキスト要約のための 3 つのベンチマーク データセットで、提案された方法を従来技術と徹底的に評価しました。
結果は、CoBa が幻覚を軽減するのに効果的かつ効率的であり、優れた適応性と柔軟性を提供することを示しています。

要約(オリジナル)

Abstractive summarization aims at generating natural language summaries of a source document that are succinct while preserving the important elements. Despite recent advances, neural text summarization models are known to be susceptible to hallucinating (or more correctly confabulating), that is to produce summaries with details that are not grounded in the source document. In this paper, we introduce a simple yet efficient technique, CoBa, to reduce hallucination in abstractive summarization. The approach is based on two steps: hallucination detection and mitigation. We show that the former can be achieved through measuring simple statistics about conditional word probabilities and distance to context words. Further, we demonstrate that straight-forward backtracking is surprisingly effective at mitigation. We thoroughly evaluate the proposed method with prior art on three benchmark datasets for text summarization. The results show that CoBa is effective and efficient in reducing hallucination, and offers great adaptability and flexibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google