PELMS: Pre-training for Effective Low-Shot Multi-Document Summarization

要約

私たちは、単一文書の要約よりもはるかに研究が進んでいない、抽象的な複数文書要約 (MDS) の事前トレーニング手法を調査します。
最近の研究では、トレーニング前の戦略設計において情報の顕著性を強調することの有効性が実証されていますが、MDS にとって重要な特性である抽象的で内省的な要約を生成するのは困難です。
この目的を達成するために、意味論的一貫性ヒューリスティックと、ラベルのない複数文書入力による忠実性制約に基づく目標を使用し、簡潔で流暢かつ忠実な要約の生成を促進する事前トレーニング済みモデルである PELMS を紹介します。
PELMS のトレーニングをサポートするために、9,300 万を超えるドキュメントを含むマルチドキュメント事前トレーニング コーパスである MultiPT を編集して、製品レビュー、ニュース、一般知識などのさまざまなジャンルをカバーする 300 万以上のラベルなしのトピック中心のドキュメント クラスターを形成します。
。
当社は、広範囲の MDS データセットに対して、ローショット設定で PELMS の広範な評価を実行します。
私たちのアプローチは、全体的な情報量、抽象性、一貫性、忠実性の点で、競合他社との比較よりも常に優れています。

要約(オリジナル)

We investigate pre-training techniques for abstractive multi-document summarization (MDS), which is much less studied than summarizing single documents. Though recent work has demonstrated the effectiveness of highlighting information salience for pre-training strategy design, it struggles to generate abstractive and reflective summaries, which are critical properties for MDS. To this end, we present PELMS, a pre-trained model that uses objectives based on semantic coherence heuristics and faithfulness constraints with un-labeled multi-document inputs, to promote the generation of concise, fluent, and faithful summaries. To support the training of PELMS, we compile MultiPT, a multi-document pre-training corpus containing over 93 million documents to form more than 3 million unlabeled topic-centric document clusters, covering diverse genres such as product reviews, news, and general knowledge. We perform extensive evaluation of PELMS in low-shot settings on a wide range of MDS datasets. Our approach consistently outperforms competitive comparisons with respect to overall informativeness, abstractiveness, coherence, and faithfulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google