COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization

要約

【タイトル】
COLO：1ステージの要約のための対照的学習に基づく再ランキングフレームワーク

【要約】
– 従来の抽出的および抽象的な要約システムのトレーニング手法は、常にトークンレベルまたは文レベルのトレーニング目標のみを使用していました。
– しかし、出力された要約は常に要約レベルから評価されるため、トレーニングと評価の一貫性に欠けます。
– 本論文では、1段階の要約に対して対照的な学習に基づく再ランキングフレームワークであるCOLOを提案しています。
– 対照的な目的をモデル化することにより、追加のモジュールやパラメータなしで要約モデルが要約レベルスコアに基づいて直接要約を生成できることを示しています。
– 広範な実験により、COLOがCNN / DailyMailベンチマークでの1段階システムの抽出および抽象的な結果を44.58と46.33 ROUGE-1スコアに向上させ、パラメータ効率と推論効率を維持します。
– 最先端の多段階システムと比較して、GPUトレーニング時間を100時間以上節約し、推論中に3〜8倍の高速化率を達成しながら、同等の結果を維持します。

要約(オリジナル)

Traditional training paradigms for extractive and abstractive summarization systems always only use token-level or sentence-level training objectives. However, the output summary is always evaluated from summary-level which leads to the inconsistency in training and evaluation. In this paper, we propose a Contrastive Learning based re-ranking framework for one-stage summarization called COLO. By modeling a contrastive objective, we show that the summarization model is able to directly generate summaries according to the summary-level score without additional modules and parameters. Extensive experiments demonstrate that COLO boosts the extractive and abstractive results of one-stage systems on CNN/DailyMail benchmark to 44.58 and 46.33 ROUGE-1 score while preserving the parameter efficiency and inference efficiency. Compared with state-of-the-art multi-stage systems, we save more than 100 GPU training hours and obtaining 3~8 speed-up ratio during inference while maintaining comparable results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI