Learning with Rejection for Abstractive Text Summarization

要約

最先端の抽象的要約システムは、主にトレーニング データセットのノイズが原因で、ソース ドキュメントでサポートされていないコンテンツを幻覚させることがよくあります。
既存の方法では、ノイズの多いサンプルまたはトークンをトレーニング セットから完全に削除することを選択し、有効なトレーニング セットのサイズを縮小し、ソースから単語をコピーする人為的な傾向を作成します。
この作業では、モデルが潜在的にノイズの多いトークンを拒否するかどうかを学習する、拒否学習に基づく抽象的要約のトレーニング目標を提案します。
さらに、トレーニング中に学習した棄却確率を使用して、推論中に非事実候補の要約にペナルティを課す正則化された復号化目標を提案します。
私たちの方法は、5 つのベースライン モデルと比較した場合、自動および人間による評価で生成された要約の事実性を大幅に改善し、生成された要約の抽象性を高めていることを示しています。

要約(オリジナル)

State-of-the-art abstractive summarization systems frequently hallucinate content that is not supported by the source document, mainly due to noise in the training dataset. Existing methods opt to drop the noisy samples or tokens from the training set entirely, reducing the effective training set size and creating an artificial propensity to copy words from the source. In this work, we propose a training objective for abstractive summarization based on rejection learning, in which the model learns whether or not to reject potentially noisy tokens. We further propose a regularized decoding objective that penalizes non-factual candidate summaries during inference by using the rejection probability learned during training. We show that our method considerably improves the factuality of generated summaries in automatic and human evaluations when compared to five baseline models and that it does so while increasing the abstractiveness of the generated summaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google