Controllable Multi-document Summarization: Coverage & Coherence Intuitive Policy with Large Language Model Based Rewards

要約

メモリ効率の高い大規模な言語モデルは、テキスト入力を調整して読みやすくすることに優れています。
ただし、複数の文書の要約など、長い入力を伴うテキスト生成タスクに関しては、制御性が懸念事項になります。
この研究では、LLM の機能を活用してテキストを洗練する、複数文書の要約のための一般的な制御可能なアプローチを調査します。
特に、LLM によって洗練されるテキストを抽出するための制御可能なコンテンツ抽出スキームをトレーニングします。
このスキームは、新しいカバレッジと一貫性の直感的なポリシーを使用して設計されており、受動的にトレーニングされた LLM によって正当に報われます。
当社のアプローチは、ROUGE メトリクスを使用した評価で競争力のある結果をもたらし、人間による評価による一貫性において潜在的なベースラインを上回ります。

要約(オリジナル)

Memory-efficient large language models are good at refining text input for better readability. However, controllability is a matter of concern when it comes to text generation tasks with long inputs, such as multi-document summarization. In this work, we investigate for a generic controllable approach for multi-document summarization that leverages the capabilities of LLMs to refine the text. In particular, we train a controllable content extraction scheme to extract the text that will be refined by an LLM. The scheme is designed with a novel coverage and coherence intuitive policy, which is duly rewarded by a passively trained LLM. Our approach yields competitive results in the evaluation using ROUGE metrics and outperforms potential baselines in coherence, as per human evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google