Extract-and-Abstract: Unifying Extractive and Abstractive Summarization within Single Encoder-Decoder Framework

要約

Extract-then-Abstract は、抽出モデルによって特定された顕著な情報を利用して抽象的な要約を実行するための、自然に一貫したパラダイムです。
このパラダイムを採用した以前の研究では、エクストラクタとアブストラクタを個別にトレーニングし、抽出された顕著性をアブストラクタに強調表示するための追加のパラメータを導入していました。その結果、エラーが蓄積され、追加のトレーニング コストが発生します。
この論文では、最初にパラメータフリーのハイライト手法をエンコーダ/デコーダ フレームワークに導入します。これは、エンコーダ アテンション マスクをクロス アテンション モジュールの顕著性マスクに置き換えて、デコーダに入力の顕著な部分のみに焦点を当てるように強制します。
予備分析では、さまざまなハイライト方法を比較し、顕著性マスクの有効性を実証します。
さらに、新しい抽出および抽象パラダイムである ExtAbs を提案します。ExtAbs は、単一のエンコーダ/デコーダ モデル内で抽出および抽象要約タスクを共同かつシームレスに実行して、エラーの蓄積を削減します。
ExtAbs では、バニラ エンコーダは顕著性を抽出するために拡張され、バニラ デコーダは提案された顕著性マスクを使用して修正され、要約を生成します。
BART と PEGASUS に基づいて構築された 3 つのデータセットでの実験では、ExtAb が抽出タスクではベースラインよりも優れたパフォーマンスを達成でき、抽象タスクではバニラ モデルと同等、またはそれ以上のパフォーマンスを発揮できることが示されています。

要約(オリジナル)

Extract-then-Abstract is a naturally coherent paradigm to conduct abstractive summarization with the help of salient information identified by the extractive model. Previous works that adopt this paradigm train the extractor and abstractor separately and introduce extra parameters to highlight the extracted salients to the abstractor, which results in error accumulation and additional training costs. In this paper, we first introduce a parameter-free highlight method into the encoder-decoder framework: replacing the encoder attention mask with a saliency mask in the cross-attention module to force the decoder to focus only on salient parts of the input. A preliminary analysis compares different highlight methods, demonstrating the effectiveness of our saliency mask. We further propose the novel extract-and-abstract paradigm, ExtAbs, which jointly and seamlessly performs Extractive and Abstractive summarization tasks within single encoder-decoder model to reduce error accumulation. In ExtAbs, the vanilla encoder is augmented to extract salients, and the vanilla decoder is modified with the proposed saliency mask to generate summaries. Built upon BART and PEGASUS, experiments on three datasets show that ExtAbs can achieve superior performance than baselines on the extractive task and performs comparable, or even better than the vanilla models on the abstractive task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google