Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models

要約

テキストの要約は、情報検索からコンテンツ生成まで幅広い用途に使用される重要な自然言語処理 (NLP) タスクです。
大規模言語モデル (LLM) の活用は、要約技術の強化において顕著な可能性を示しています。
このペーパーでは、MPT-7b-instruct、falcon-7b-instruct、OpenAI ChatGPT text-davinci-003 モデルなど、さまざまな LLM セットを使用したテキスト要約の調査に着手します。
実験はさまざまなハイパーパラメータで実行され、バイリンガル評価アンダースタディ (BLEU) スコア、要旨評価のための再現率重視アンダースタディ (ROUGE) スコア、トランスフォーマーからの双方向エンコーダ表現 (BERT) スコアなどの広く受け入れられているメトリクスを使用して、生成された概要を評価しました。
実験によると、text-davinci-003 が他のものより優れたパフォーマンスを示しました。
この調査には、CNN Daily Mail と XSum という 2 つの異なるデータセットが含まれていました。
その主な目的は、さまざまなデータセットに適用されたときの大規模言語モデル (LLM) のパフォーマンスを包括的に理解できるようにすることでした。
これらのモデルの有効性の評価は、NLP ドメイン内の研究者や実践者に貴重な洞察を提供します。
この成果は、テキストの要約に LLM の可能性を活用することに興味がある人のためのリソースとして機能し、幅広いビジネス課題に対処することを目的とした高度な生成 AI アプリケーションの開発の基礎を築きます。

要約(オリジナル)

Text summarization is a critical Natural Language Processing (NLP) task with applications ranging from information retrieval to content generation. Leveraging Large Language Models (LLMs) has shown remarkable promise in enhancing summarization techniques. This paper embarks on an exploration of text summarization with a diverse set of LLMs, including MPT-7b-instruct, falcon-7b-instruct, and OpenAI ChatGPT text-davinci-003 models. The experiment was performed with different hyperparameters and evaluated the generated summaries using widely accepted metrics such as the Bilingual Evaluation Understudy (BLEU) Score, Recall-Oriented Understudy for Gisting Evaluation (ROUGE) Score, and Bidirectional Encoder Representations from Transformers (BERT) Score. According to the experiment, text-davinci-003 outperformed the others. This investigation involved two distinct datasets: CNN Daily Mail and XSum. Its primary objective was to provide a comprehensive understanding of the performance of Large Language Models (LLMs) when applied to different datasets. The assessment of these models’ effectiveness contributes valuable insights to researchers and practitioners within the NLP domain. This work serves as a resource for those interested in harnessing the potential of LLMs for text summarization and lays the foundation for the development of advanced Generative AI applications aimed at addressing a wide spectrum of business challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google