A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization

要約

事前トレーニングされた言語モデル (PLM) は、抽象的な単一文書要約 (SDS) において目覚ましい成果を達成しました。
ただし、このような利点は、文書間の相互作用がより複雑な複数文書要約 (MDS) には簡単には拡張できません。
これまでの研究では、複雑なドキュメントの相互作用を考慮せずに、MDS の新しいアーキテクチャまたは新しい事前トレーニング目標を設計するか、PLM を MDS に適用していました。
前者は以前の事前トレーニングの取り組みを十分に活用しておらず、複数のドメインにわたってうまく一般化できない可能性がありますが、後者は MDS タスクに特有の複雑な関係に完全に対応することができません。
このペーパーでは、エンコーダーとデコーダーの両方に階層を適用し、PLM をより有効に活用して MDS タスクの複数ドキュメントの対話を促進することを目指します。
私たちは、幅広いドメインにわたる 10 個の MDS データセットで設計をテストしました。
広範な実験により、私たちが提案した方法は、これらすべてのデータセットで一貫した改善を達成でき、以前の最良のモデルを上回り、追加の MDS 事前トレーニングまたはより大きなモデル パラメーターを備えた一部のモデルと比較して、より優れた、または競争力のある結果を達成できることが示されています。

要約(オリジナル)

Pre-trained language models (PLMs) have accomplished impressive achievements in abstractive single-document summarization (SDS). However, such benefits may not be readily extended to muti-document summarization (MDS), where the interactions among documents are more complex. Previous works either design new architectures or new pre-training objectives for MDS, or apply PLMs to MDS without considering the complex document interactions. While the former does not make full use of previous pre-training efforts and may not generalize well across multiple domains, the latter cannot fully attend to the intricate relationships unique to MDS tasks. In this paper, we enforce hierarchy on both the encoder and decoder and seek to make better use of a PLM to facilitate multi-document interactions for the MDS task. We test our design on 10 MDS datasets across a wide range of domains. Extensive experiments show that our proposed method can achieve consistent improvements on all these datasets, outperforming the previous best models, and even achieving better or competitive results as compared to some models with additional MDS pre-training or larger model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google