RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization

要約

長い文書の要約では、テキストの重要な内容と文間の重要度の違いを識別するための談話構造が重要です。
残念ながら、長い文書を要約するためのパラメータ効率の高い微調整戦略への修辞構造理論（RST）の統合は、まだ研究されていません。
したがって、このホワイトペーパーでは、RST-LoRA を紹介し、RST を LoRA モデルに明示的に組み込むための 4 つの RST 対応バリアントを提案します。
私たちの経験的評価は、レトリック関係の種類と不確実性を組み込むことで、要約タスクにおける LoRA のパフォーマンスを相補的に向上できることを示しています。
さらに、私たちが導入した最高のパフォーマンスのバリアントは、複数の自動評価と人間による評価で確認されたように、バニラ LoRA モデルやフルパラメータ微調整モデルを上回り、以前の最先端の方法をも上回っています。

要約(オリジナル)

For long document summarization, discourse structure is important to discern the key content of the text and the differences in importance level between sentences. Unfortunately, the integration of rhetorical structure theory (RST) into parameter-efficient fine-tuning strategies for long document summarization remains unexplored. Therefore, this paper introduces RST-LoRA and proposes four RST-aware variants to explicitly incorporate RST into the LoRA model. Our empirical evaluation demonstrates that incorporating the type and uncertainty of rhetorical relations can complementarily enhance the performance of LoRA in summarization tasks. Furthermore, the best-performing variant we introduced outperforms the vanilla LoRA and full-parameter fine-tuning models, as confirmed by multiple automatic and human evaluations, and even surpasses previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google