A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization

要約

事前トレーニングされた言語モデル (PLM) は、抽象的な単一文書要約 (SDS) において優れた成果を達成しました。
ただし、このような利点は、文書間情報の処理がより複雑な複数文書要約 (MDS) には完全に拡張されない可能性があります。
これまでの研究では、新しい MDS アーキテクチャを設計するか、再定式化された SDS タスクとして連結されたソース ドキュメントに PLM を単純に適用していました。
前者は以前の事前トレーニングの取り組みを利用しておらず、異なるドメイン間でうまく一般化できない可能性がありますが、後者は MDS タスクに特有の複雑な文書間の関係に十分に対応していない可能性があります。
代わりに、エンコーダーとデコーダーの両方に階層を適用して、PLM をより適切に利用して、MDS タスクの複数ドキュメントの対話を容易にします。
さまざまなドメインの 10 個の MDS ベンチマークにわたって、私たちの手法は、追加の MDS 事前トレーニングやより多くのパラメーターを備えたモデルを含む、以前の最良のモデルを上回るパフォーマンスまたは競争力を備えています。
対応する PLM バックボーンよりも最大 3 Rouge-L のパフォーマンスが優れており、人間に好まれています。

要約(オリジナル)

Pre-trained language models (PLMs) have achieved outstanding achievements in abstractive single-document summarization (SDS). However, such benefits may not fully extend to multi-document summarization (MDS), where the handling of cross-document information is more complex. Previous works either design new MDS architectures or apply PLMs bluntly with concatenated source documents as a reformulated SDS task. While the former does not utilize previous pre-training efforts and may not generalize well across different domains, the latter may not sufficiently attend to the intricate cross-document relationships unique to MDS tasks. Instead, we enforce hierarchy on both the encoder and decoder to better utilize a PLM to facilitate multi-document interactions for the MDS task. Across 10 MDS benchmarks from various domains, our method outperforms or is competitive with the previous best models, including those with additional MDS pre-training or with more parameters. It outperforms its corresponding PLM backbone by up to 3 Rouge-L and is favored by humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google