Rethinking Transformer-based Multi-document Summarization: An Empirical Investigation

要約

Transformer ベースのモデルの利用により、複数文書要約 (MDS) の成長が促進されます。
Transformer ベースのモデルがさまざまな自然言語処理タスクに多大な影響を与え、広く採用されていることを考えると、MDS のコンテキストでそのパフォーマンスと動作を調査することは、この分野を進歩させ、要約の品質を向上させるために重要になります。
Transformer ベースの MDS モデルの動作を徹底的に調べるために、この論文では、(1) 文書境界セパレーターの影響を定量的に測定すること、(1) 文書境界セパレータの影響を定量的に測定することに関する 5 つの実証研究を紹介します。
(2) さまざまな主流の変圧器構造の有効性を調査する。
(3) エンコーダとデコーダの感度を調べる。
(4) さまざまなトレーニング戦略について話し合う。
(5) 要約生成での繰り返しを発見します。
一般的な MDS データセットと 11 の評価メトリクスに関する実験結果は、ドキュメント境界セパレーターの影響、さまざまなレベルの特徴の粒度、およびさまざまなモデル トレーニング戦略を示しています。
この結果は、デコーダがエンコーダと比較してノイズに対してより高い感度を示すことも明らかにしています。
これはデコーダが果たす重要な役割を強調しており、MDS における将来の研究の潜在的な方向性を示唆しています。
さらに、実験結果は、生成された要約における反復問題が高い不確実性スコアと相関関係があることを示しています。

要約(オリジナル)

The utilization of Transformer-based models prospers the growth of multi-document summarization (MDS). Given the huge impact and widespread adoption of Transformer-based models in various natural language processing tasks, investigating their performance and behaviors in the context of MDS becomes crucial for advancing the field and enhancing the quality of summary. To thoroughly examine the behaviours of Transformer-based MDS models, this paper presents five empirical studies on (1) measuring the impact of document boundary separators quantitatively; (2) exploring the effectiveness of different mainstream Transformer structures; (3) examining the sensitivity of the encoder and decoder; (4) discussing different training strategies; and (5) discovering the repetition in a summary generation. The experimental results on prevalent MDS datasets and eleven evaluation metrics show the influence of document boundary separators, the granularity of different level features and different model training strategies. The results also reveal that the decoder exhibits greater sensitivity to noises compared to the encoder. This underscores the important role played by the decoder, suggesting a potential direction for future research in MDS. Furthermore, the experimental results indicate that the repetition problem in the generated summaries has correlations with the high uncertainty scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google