Evaluating LLMs and Pre-trained Models for Text Summarization Across Diverse Datasets

要約

テキストの要約は、大量のテキストを簡潔で一貫した要約に凝縮することにより、自然言語処理において重要な役割を果たします。
デジタルコンテンツが急速に成長し続け、効果的な情報検索の需要が増加するにつれて、テキストの要約は近年研究の焦点になりました。
この研究では、5つの多様なデータセットCNN/DM、Gigaword、ニュースサマリー、XSUM、およびBBCニュースを越えて、BART、FLAN-T5、LLAMA-T5、LLAMA-3-8B、およびGEMMA-7Bの4つの主要な訓練とオープンソースの大規模な言語モデルの徹底的な評価を提供します。
この評価では、Rouge-1、Rouge-2、Rouge-L、Bertscore、Meteorなどの広く認識されている自動メトリックを採用して、コヒーレントおよび有益な要約を生成するモデルの機能を評価します。
結果は、さまざまなテキストタイプの処理におけるこれらのモデルの比較強度と制限を明らかにしています。

要約(オリジナル)

Text summarization plays a crucial role in natural language processing by condensing large volumes of text into concise and coherent summaries. As digital content continues to grow rapidly and the demand for effective information retrieval increases, text summarization has become a focal point of research in recent years. This study offers a thorough evaluation of four leading pre-trained and open-source large language models: BART, FLAN-T5, LLaMA-3-8B, and Gemma-7B, across five diverse datasets CNN/DM, Gigaword, News Summary, XSum, and BBC News. The evaluation employs widely recognized automatic metrics, including ROUGE-1, ROUGE-2, ROUGE-L, BERTScore, and METEOR, to assess the models’ capabilities in generating coherent and informative summaries. The results reveal the comparative strengths and limitations of these models in processing various text types.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google