Scaling Up Summarization: Leveraging Large Language Models for Long Text Extractive Summarization

要約

デジタル テキストが前例のない速度で急増している時代において、効率的な要約ツールは不可欠なものとなっています。
大規模言語モデル (LLM) はさまざまな NLP タスクに適用されて成功していますが、抽出テキストの要約における LLM の役割はまだ十分に解明されていません。
この文書では、長いテキスト文書の抽出的な要約に LLM、特に LLAMA2-7B と ChatGLM2-6B を活用するフレームワークである EYEGLAXS (Easy Yet Efficient larGe LAnguage model for eXtractive Summarization) を紹介します。
事実の不正確さや幻覚などの問題に悩まされることが多い抽象的な手法の代わりに、EYEGLAXS は事実と文法の整合性を確保するための抽出的な要約に焦点を当てています。
EYEGLAXS は、フラッシュ アテンションやパラメータ効率の良い微調整 (PEFT) などの最先端の技術を利用して、通常 LLM に関連する計算およびリソースの課題に対処します。
このシステムは、PubMed や ArXiv などのよく知られたデータセットに新しいパフォーマンス ベンチマークを設定します。
さらに、さまざまなシーケンス長を処理する際の LLM の適応性と、より小さなデータセットでのトレーニングにおける LLM の効率を調査する追加の分析を通じて研究を拡張します。
これらの貢献は、この分野に新たな標準を設定するだけでなく、抽出テキスト要約における将来の研究に有望な道を切り開きます。

要約(オリジナル)

In an era where digital text is proliferating at an unprecedented rate, efficient summarization tools are becoming indispensable. While Large Language Models (LLMs) have been successfully applied in various NLP tasks, their role in extractive text summarization remains underexplored. This paper introduces EYEGLAXS (Easy Yet Efficient larGe LAnguage model for eXtractive Summarization), a framework that leverages LLMs, specifically LLAMA2-7B and ChatGLM2-6B, for extractive summarization of lengthy text documents. Instead of abstractive methods, which often suffer from issues like factual inaccuracies and hallucinations, EYEGLAXS focuses on extractive summarization to ensure factual and grammatical integrity. Utilizing state-of-the-art techniques such as Flash Attention and Parameter-Efficient Fine-Tuning (PEFT), EYEGLAXS addresses the computational and resource challenges typically associated with LLMs. The system sets new performance benchmarks on well-known datasets like PubMed and ArXiv. Furthermore, we extend our research through additional analyses that explore the adaptability of LLMs in handling different sequence lengths and their efficiency in training on smaller datasets. These contributions not only set a new standard in the field but also open up promising avenues for future research in extractive text summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google