Unsupervised Summarization Re-ranking

要約

タスク固有の事前トレーニング目標の増加に伴い、PEGASUS のような抽象的な要約モデルは、下流の要約タスクで魅力的なゼロショット パフォーマンスを提供します。
ただし、このような教師なしモデルのパフォーマンスは、教師ありモデルに比べて依然として大幅に遅れています。
教師あり設定と同様に、これらのモデルの要約候補間で品質のばらつきが非常に大きいことがわかりますが、候補が 1 つだけ要約出力として保持されます。
この論文では、教師なしモデルと教師ありモデル間のパフォーマンスのギャップを埋めることを目的として、教師なしの方法で要約候補を再ランク付けすることを提案します。
私たちのアプローチは、広く採用されている 4 つの要約ベンチマーク全体の相対平均 ROUGE で、教師なし PEGASUS を最大 7.27%、ChatGPT を最大 6.86% 改善します。
30 回のゼロショット転送セットアップ (データセットでの微調整、別のデータセットでの評価) で平均して 7.51% (XSum から WikiHow までで最大 23.73%) の相対的な利益を達成しました。

要約(オリジナル)

With the rise of task-specific pre-training objectives, abstractive summarization models like PEGASUS offer appealing zero-shot performance on downstream summarization tasks. However, the performance of such unsupervised models still lags significantly behind their supervised counterparts. Similarly to the supervised setup, we notice a very high variance in quality among summary candidates from these models while only one candidate is kept as the summary output. In this paper, we propose to re-rank summary candidates in an unsupervised manner, aiming to close the performance gap between unsupervised and supervised models. Our approach improves the unsupervised PEGASUS by up to 7.27% and ChatGPT by up to 6.86% relative mean ROUGE across four widely-adopted summarization benchmarks ; and achieves relative gains of 7.51% (up to 23.73% from XSum to WikiHow) averaged over 30 zero-shot transfer setups (finetuning on a dataset, evaluating on another).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google