Faithfulness-Aware Decoding Strategies for Abstractive Summarization

要約

抽象的要約における忠実性の理解と改善には大きな進展があったが、復号化戦略が忠実性にどのような影響を与えるかという問題はあまり研究されていない。我々は、ビームサーチや核サンプリングなどの生成技術が抽象的要約の忠実性に与える影響について系統的な研究を行った。その結果、ビームサイズを大きくしたビームサーチが最も忠実な要約を生成し、ヌクルスサンプリングが最も忠実でない要約を生成するという一貫した傾向があることがわかった。(1)ビームサーチで生成された候補を自動的な忠実度指標を用いてランク付けする、(2)将来の要約に忠実度スコアを生成するルックアヘッドヒューリスティックを取り入れる、の2つの忠実度を考慮した生成手法を提案し、現在の生成手法よりもさらに忠実度を向上させる。4つの自動忠実度メトリクスと人間による評価により、2つのデータセットにおいて、どちらの生成手法も忠実度を大幅に改善することを示す。計算コストを削減するために、我々は、モデルが貪欲なデコードだけで忠実な要約を生成することを可能にする簡単な蒸留のアプローチを実証する。我々のコードは、https://github.com/amazon-science/faithful-summarization-generation で公開されている。

要約(オリジナル)

Despite significant progress in understanding and improving faithfulness in abstractive summarization, the question of how decoding strategies affect faithfulness is less studied. We present a systematic study of the effect of generation techniques such as beam search and nucleus sampling on faithfulness in abstractive summarization. We find a consistent trend where beam search with large beam sizes produces the most faithful summaries while nucleus sampling generates the least faithful ones. We propose two faithfulness-aware generation methods to further improve faithfulness over current generation techniques: (1) ranking candidates generated by beam search using automatic faithfulness metrics and (2) incorporating lookahead heuristics that produce a faithfulness score on the future summary. We show that both generation methods significantly improve faithfulness across two datasets as evaluated by four automatic faithfulness metrics and human evaluation. To reduce computational cost, we demonstrate a simple distillation approach that allows the model to generate faithful summaries with just greedy decoding. Our code is publicly available at https://github.com/amazon-science/faithful-summarization-generation

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL