Don’t Say What You Don’t Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search

要約

今日の抽象的な要約システムは、流暢で関連性の高い出力を生成しますが、多くの場合、ソーステキストでサポートされていない「幻覚的な」ステートメントが生成されます。
私たちは幻覚とトレーニング データの関係を分析し、モデルがソースによってサポートされていないターゲットの要約に基づいてトレーニングするために幻覚を起こすという証拠を見つけます。
私たちの発見に基づいて、幻覚を回避するためにビーム探索を制限することにより、トランスフォーマーベースの抽象的サマライザーの一貫性を向上させる新しいデコード方法である PINOCCHIO を紹介します。
特定のステップでのモデルの状態と出力が与えられると、PINOCCHIO は、ソース テキストへの帰属に関するさまざまな尺度に基づいて、モデルの幻覚を検出します。
PINOCCHIO は、より一貫性のある出力を見つけるためにバックトラックし、一貫性のある世代が見つからない場合は、サマリーをまったく生成しないことを選択できます。
実験では、PINOCCHIO が 2 つの抽象的な要約データセットで生成の一貫性 (F1 に関して) を平均で最大 67% 向上させることがわかりました。

要約(オリジナル)

Abstractive summarization systems today produce fluent and relevant output, but often ‘hallucinate’ statements not supported by the source text. We analyze the connection between hallucinations and training data, and find evidence that models hallucinate because they train on target summaries that are unsupported by the source. Based on our findings, we present PINOCCHIO, a new decoding method that improves the consistency of a transformer-based abstractive summarizer by constraining beam search to avoid hallucinations. Given the model states and outputs at a given step, PINOCCHIO detects likely model hallucinations based on various measures of attribution to the source text. PINOCCHIO backtracks to find more consistent output, and can opt to produce no summary at all when no consistent generation can be found. In experiments, we find that PINOCCHIO improves the consistency of generation (in terms of F1) by an average of~67% on two abstractive summarization datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google