Extractive Summarization via ChatGPT for Faithful Summary Generation

要約

タイトル：忠実な要約生成のためのChatGPTによる抽出的要約

要約：
– 抽出的な要約は、長い文章を直接選択して要約する自然言語処理の重要なタスクである。
– ChatGPTの導入により、NLPコミュニティでは幅広い下流タスクでの優れたパフォーマンスに注目が集まっている。
– しかし、事実性と忠実さに関する懸念が要約システムの実用的な応用を妨げている。
– 本論文では、ChatGPTの抽出的要約性能を従来のファインチューニング方法と比較した幅広いベンチマークデータセットに対する評価を行う。
– 実験分析により、ROUGEスコアに関してChatGPTの抽出的要約性能は既存の教師ありシステムに劣ることが明らかになった。
– さらに、文脈学習や連想思考推論の効果について探究し、性能向上につながることが示された。
– ChatGPTを用いた抽出後生成パイプラインが、要約の忠実性において抽象的なベースラインよりも性能を向上させることが明らかになった。
– これらの観察結果は、教師ありアプローチを用いたChatGPTの機能強化の可能性を示し、忠実なテキスト要約タスクに向けた方向性を示す。

要約(オリジナル)

Extractive summarization is a crucial task in natural language processing that aims to condense long documents into shorter versions by directly extracting sentences. The recent introduction of ChatGPT has attracted significant interest in the NLP community due to its remarkable performance on a wide range of downstream tasks. However, concerns regarding factuality and faithfulness have hindered its practical applications for summarization systems. This paper first presents a thorough evaluation of ChatGPT’s performance on extractive summarization and compares it with traditional fine-tuning methods on various benchmark datasets. Our experimental analysis reveals that ChatGPT’s extractive summarization performance is still inferior to existing supervised systems in terms of ROUGE scores. In addition, we explore the effectiveness of in-context learning and chain-of-thought reasoning for enhancing its performance. Furthermore, we find that applying an extract-then-generate pipeline with ChatGPT yields significant performance improvements over abstractive baselines in terms of summary faithfulness. These observations highlight potential directions for enhancing ChatGPT’s capabilities for faithful text summarization tasks using two-stage approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI