CNNSum: Exploring Long-Context Summarization with Large Language Models in Chinese Novels

要約

大規模言語モデル (LLM) は、さまざまな長いコンテキストのタスクでよく研究されています。
しかし、高品質で長いコンテキストを要約したデータセットが不足しているため、この分野のさらなる進歩が妨げられています。
これに対処するために、中国の小説に基づいたマルチスケールの長いコンテキストの要約ベンチマークである CNNSum を導入します。このベンチマークは人間による注釈を特徴とし、合計 695 サンプル、長さは 16k ～ 128k の 4 つのサブセットで構成されます。
私たちは多数の LLM を評価し、詳細なケース分析を実施します。
さらに、長い文脈の要約を調査および改善するために、広範な微調整実験を実施します。
私たちの研究では: (1) GPT-4o のような高度な LLM は依然として主観的なコメントを生成する可能性があり、曖昧な要約につながります。
(2) 現在、長いコンテキストの要約は主に、より長いコンテキスト長によってもたらされる記憶能力に依存しています。
大規模な LLM の利点を活用するのは難しいため、小規模な LLM が最もコスト効率が高くなります。
(3) さまざまなプロンプト テンプレートをさまざまなバージョン モデルと組み合わせると、パフォーマンスに大きなギャップが生じる可能性があります。
さらに微調整すると、これらを軽減でき、Base バージョン モデルのパフォーマンスが向上します。
(4) RoPE ベースでスケーリングされた LLM は、強力な外挿の可能性を示します。
短いコンテキストのデータを使用すると、長いコンテキストの要約パフォーマンスを大幅に向上させることができます。
ただし、他の補間方法をさらに適用するには、慎重に選択する必要があります。
(5) CNNSum は、他のベンチマークよりも信頼性が高く、洞察力に富んだ評価結果を提供します。
この分野の将来の研究を推進するために、私たちは CNNSum をリリースします。
https://github.com/CxsGhost/CNNSum

要約(オリジナル)

Large Language Models (LLMs) have been well-researched in various long-context tasks. However, the scarcity of high-quality long-context summarization datasets has hindered further advancements in this area. To address this, we introduce CNNSum, a multi-scale long-context summarization benchmark based on Chinese novels, featuring human-driven annotations, which comprises four subsets totaling 695 samples, with lengths ranging from 16k to 128k. We evaluate numerous LLMs and conduct detailed case analyses. Furthermore, we conduct extensive fine-tuning experiments to explore and improve long-context summarization. In our study: (1) Advanced LLMs like GPT-4o may still generate subjective commentary, leading to vague summaries. (2) Currently, long-context summarization mainly relies on memory ability afforded by longer context lengths. The advantages of Large LLMs are hard to utilize, thus small LLMs are the most cost-effective. (3) Different prompt templates paired with various version models may cause large performance gaps. In further fine-tuning, these can be mitigated, and the Base version models perform better. (4) LLMs with RoPE-base scaled exhibit strong extrapolation potential; using short-context data can significantly improve long-context summarization performance. However, further applying other interpolation methods requires careful selection. (5) CNNSum provides more reliable and insightful evaluation results than other benchmarks. We release CNNSum to advance future research in this field. https://github.com/CxsGhost/CNNSum

arxiv情報

提供元, 利用サービス

arxiv.jp, Google