Key-Element-Informed sLLM Tuning for Document Summarization

要約

大規模言語モデル (LLM) の目覚ましい進歩により、高品質のテキスト要約が可能になりました。
ただし、この機能は現在、相当な規模の LLM または使用料がかかる独自の LLM を通じてのみアクセスできます。
これに応じて、アクセスが容易で低コストの小規模 LLM (sLLM) が広く研究されていますが、特に入力ドキュメントが長い場合、重要な情報やエンティティが欠落している、つまり関連性が低いという問題が発生することがよくあります。
そこで、我々は、文書内のキー要素を識別し、これらのキー要素を捕捉した要約を生成するように sLLM に指示する、要約のためのキー要素情報に基づいた命令チューニング、いわゆる KEITSum を提案します。
対話およびニュースのデータセットに関する実験結果は、KEITSum を使用した sLLM が実際に、独自の LLM に匹敵する、関連性が高く幻覚が少ない高品質の要約を提供することを示しています。

要約(オリジナル)

Remarkable advances in large language models (LLMs) have enabled high-quality text summarization. However, this capability is currently accessible only through LLMs of substantial size or proprietary LLMs with usage fees. In response, smaller-scale LLMs (sLLMs) of easy accessibility and low costs have been extensively studied, yet they often suffer from missing key information and entities, i.e., low relevance, in particular, when input documents are long. We hence propose a key-element-informed instruction tuning for summarization, so-called KEITSum, which identifies key elements in documents and instructs sLLM to generate summaries capturing these key elements. Experimental results on dialogue and news datasets demonstrate that sLLM with KEITSum indeed provides high-quality summarization with higher relevance and less hallucinations, competitive to proprietary LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google