Exploring Iterative Controllable Summarization with Large Language Models

要約

大規模言語モデル(LLM)は、抽象的な要約タスクにおいて顕著な性能を示してきた。しかし、要約の属性（例えば長さやトピック）を正確に制御する能力についてはまだ十分に研究されておらず、特定のユーザーの嗜好への適応性を制限している。本稿では、LLMの制御可能性を系統的に探索する。この目的のために、要約属性測定を再検討し、単にエラーを評価するのではなく、LLMの制御性を正確に評価するために、反復評価指標、失敗率、平均反復回数を導入する。我々の発見は、LLMが言語的属性よりも数値的属性でより苦戦することを示している。この課題に対処するため、我々は制御可能な要約のためのGTE（guide-to-explain framework）を提案する。我々のGTEフレームワークは、モデルが最初の草稿でずれた属性を特定することを可能にし、以前の出力の誤りを自己説明するように導く。モデルがそのズレを反省することを可能にすることで、GTEは、他の反復的アプローチよりも驚くほど少ない反復回数で、ロバストな有効性を持つ、望ましい属性を満たす、よく調整された要約を生成する。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable performance in abstractive summarization tasks. However, their ability to precisely control summary attributes (e.g., length or topic) remains underexplored, limiting their adaptability to specific user preferences. In this paper, we systematically explore the controllability of LLMs. To this end, we revisit summary attribute measurements and introduce iterative evaluation metrics, failure rate and average iteration count to precisely evaluate controllability of LLMs, rather than merely assessing errors. Our findings show that LLMs struggle more with numerical attributes than with linguistic attributes. To address this challenge, we propose a guide-to-explain framework (GTE) for controllable summarization. Our GTE framework enables the model to identify misaligned attributes in the initial draft and guides it in self-explaining errors in the previous output. By allowing the model to reflect on its misalignment, GTE generates well-adjusted summaries that satisfy the desired attributes with robust effectiveness, requiring surprisingly fewer iterations than other iterative approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL