Multi-document Summarization: A Comparative Evaluation

要約

この論文は、さまざまな分野のさまざまな種類のデータセットに対する複数文書要約 (MDS) の最先端のモデルを評価し、既存のモデルの限界を調査して将来の研究の方向性を決定することを目的としています。
このギャップに対処するために、私たちは最先端のモデルとデータセットを特定するために広範な文献レビューを実施しました。
BigSurvey-MDS および MS$^2$ データセット上で PRIMERA モデルと PEGASUS モデルのパフォーマンスを分析しましたが、これらのモデルはドメインが多様であるために特有の課題を引き起こしました。
私たちの調査結果は、汎用の事前トレーニング済みモデル LED が MS$^2$ データセット上で PRIMERA および PEGASUS よりも優れていることを示しています。
さまざまなデータセットで特定されたモデルを評価するためのパフォーマンス指標として ROUGE スコアを使用しました。
私たちの研究は、モデルの長所と短所、およびさまざまなドメインへの適用可能性についての貴重な洞察を提供します。
この研究は、将来の MDS 研究の参考として機能し、学術的および/または科学的に複雑なデータや一般化された比較的単純なデータセットを含む要求の厳しいデータセットで利用できる、正確で堅牢なモデルの開発に貢献します。

要約(オリジナル)

This paper is aimed at evaluating state-of-the-art models for Multi-document Summarization (MDS) on different types of datasets in various domains and investigating the limitations of existing models to determine future research directions. To address this gap, we conducted an extensive literature review to identify state-of-the-art models and datasets. We analyzed the performance of PRIMERA and PEGASUS models on BigSurvey-MDS and MS$^2$ datasets, which posed unique challenges due to their varied domains. Our findings show that the General-Purpose Pre-trained Model LED outperforms PRIMERA and PEGASUS on the MS$^2$ dataset. We used the ROUGE score as a performance metric to evaluate the identified models on different datasets. Our study provides valuable insights into the models’ strengths and weaknesses, as well as their applicability in different domains. This work serves as a reference for future MDS research and contributes to the development of accurate and robust models which can be utilized on demanding datasets with academically and/or scientifically complex data as well as generalized, relatively simple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google