PROM: A Phrase-level Copying Mechanism with Pre-training for Abstractive Summarization

要約

抽象的要約における事前学習済み言語モデルの顕著な成果に基づき、コピー機構は事実性、安定性、全体的な性能を向上させることで有用であることが証明された。本研究では、事前学習によるゼロショット要約に適用可能な、n-gramへの注意を強化する新しいPhRase-level cOpying MechanismであるPROMを提案する。PROMはインジケータ層を追加し、ソースからコピー可能なn-gram内のトークンを明示的にピックアップし、コピー予測のための補助損失を計算する。実証研究により、PROMはベンチマークにおいて微調整を大幅に改善することが示された。ゼロショット設定では、PROMは生コーパスの自己教師付き事前学習に利用され、幅広い要約データセットで新しい一般的なベースラインを提供する。さらに分析を進めると、PROMはより合理的なコピーを行い、忠実性に寄与していることがわかる。

要約(オリジナル)

Based on the remarkable achievements of pre-trained language models in abstractive summarization, the copying mechanism has proved helpful by improving the factuality, stability, and overall performance. This work proposes PROM, a new PhRase-level cOpying Mechanism that enhances attention on n-grams, which can be applied to zero-shot summarization with pre-training. PROM adds an indicator layer to explicitly pick up tokens in n-gram that can be copied from the source, and calculates an auxiliary loss for the copying prediction. Empirical studies show that PROM makes significant improvements in fine-tuning on benchmarks. In zero-shot setting, PROM is utilized in the self-supervised pre-training on raw corpora and provides new general baselines on a wide range of summarization datasets. Further analysis shows that PROM performs more reasonable copying and contributes to faithfulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL