UMSE: Unified Multi-scenario Summarization Evaluation

要約

テキスト要約において、要約の品質評価は簡単な作業ではありません。
現代の方法は主に 2 つのシナリオに分類できます。(1) 参照ベース: 人間がラベルを付けた参照の概要を使用して評価します。
(2) 参照フリー: 文書の概要の一貫性を評価します。
最近の研究は主にこれらのシナリオの 1 つに焦点を当てており、人間の基準に合わせて PLM 上に構築されたニューラル モデルのトレーニングを検討しています。
ただし、異なるシナリオのモデルは個別に最適化され、異なるシナリオ間で共有された知識が無視されるため、最適なパフォーマンスが得られない可能性があります。
さらに、シナリオごとに個別のモデルを設計することは、ユーザーに不便をもたらしました。
これに触発されて、私たちは統合マルチシナリオ要約評価モデル (UMSE) を提案します。
より具体的には、シナリオ間でクロスシナリオの知識を共有し、自己教師ありトレーニング パラダイムを使用して余分な人間のラベル付けなしでモデルを最適化する摂動プレフィックス調整方法を提案します。
当社の UMSE は、3 つの評価シナリオで使用できる機能を備えた初の統合要約評価フレームワークです。
ベンチマーク データセット SummEval での 3 つの典型的なシナリオにわたる実験結果は、UMSE が各シナリオ向けに特別に設計されたいくつかの既存の強力な手法と同等のパフォーマンスを達成できることを示しています。

要約(オリジナル)

Summarization quality evaluation is a non-trivial task in text summarization. Contemporary methods can be mainly categorized into two scenarios: (1) reference-based: evaluating with human-labeled reference summary; (2) reference-free: evaluating the summary consistency of the document. Recent studies mainly focus on one of these scenarios and explore training neural models built on PLMs to align with human criteria. However, the models from different scenarios are optimized individually, which may result in sub-optimal performance since they neglect the shared knowledge across different scenarios. Besides, designing individual models for each scenario caused inconvenience to the user. Inspired by this, we propose Unified Multi-scenario Summarization Evaluation Model (UMSE). More specifically, we propose a perturbed prefix tuning method to share cross-scenario knowledge between scenarios and use a self-supervised training paradigm to optimize the model without extra human labeling. Our UMSE is the first unified summarization evaluation framework engaged with the ability to be used in three evaluation scenarios. Experimental results across three typical scenarios on the benchmark dataset SummEval indicate that our UMSE can achieve comparable performance with several existing strong methods which are specifically designed for each scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google