Leveraging the Power of LLMs: A Fine-Tuning Approach for High-Quality Aspect-Based Summarization

要約

デジタル情報の量は増え続けるため、ユーザーが長い文書から重要な洞察を抽出するための効率的な方法が必要になります。
側面ベースの要約は、対象を絞ったアプローチを提供し、文書内の特定の側面に焦点を当てた要約を生成します。
アスペクトベースの要約研究の進歩にもかかわらず、モデルのパフォーマンスの向上は継続的に追求されています。
大規模言語モデル (LLM) が、自然言語処理内の多様なタスク、特に要約の問題に革命を起こす可能性を実証していることを踏まえ、この論文では、アスペクトベースの要約タスク向けに LLM を微調整する可能性を探ります。
私たちは、Llama2、Mistral、Gemma、Aya などのオープンソース基盤 LLM の微調整が、公開されているドメイン固有のアスペクトに基づいた概要データセットに及ぼす影響を評価します。
私たちは、このアプローチにより、これらのモデルがアスペクト関連情報を効果的に識別して抽出できるようになり、最先端のものと比較して優れた品質のアスペクトベースの要約が得られるのではないかと仮説を立てています。
我々は、微調整された LLM のパフォーマンスを、競合するアスペクトベースの要約手法および微調整された LLM の標準的な対応物と比較するための包括的な評価フレームワークを確立します。
私たちの研究は、高品質のアスペクトベースの要約を生成するための LLM の微調整の有効性を実証することにより、アスペクトベースの要約の分野に貢献します。
さらに、さまざまな NLP ドメインにわたる対象を絞った情報抽出タスクに LLM を使用するさらなる探求への扉が開かれます。

要約(オリジナル)

The ever-increasing volume of digital information necessitates efficient methods for users to extract key insights from lengthy documents. Aspect-based summarization offers a targeted approach, generating summaries focused on specific aspects within a document. Despite advancements in aspect-based summarization research, there is a continuous quest for improved model performance. Given that large language models (LLMs) have demonstrated the potential to revolutionize diverse tasks within natural language processing, particularly in the problem of summarization, this paper explores the potential of fine-tuning LLMs for the aspect-based summarization task. We evaluate the impact of fine-tuning open-source foundation LLMs, including Llama2, Mistral, Gemma and Aya, on a publicly available domain-specific aspect based summary dataset. We hypothesize that this approach will enable these models to effectively identify and extract aspect-related information, leading to superior quality aspect-based summaries compared to the state-of-the-art. We establish a comprehensive evaluation framework to compare the performance of fine-tuned LLMs against competing aspect-based summarization methods and vanilla counterparts of the fine-tuned LLMs. Our work contributes to the field of aspect-based summarization by demonstrating the efficacy of fine-tuning LLMs for generating high-quality aspect-based summaries. Furthermore, it opens doors for further exploration of using LLMs for targeted information extraction tasks across various NLP domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google