要約
テキストの要約の場合、談話構造の役割は、テキストの核となる内容を識別する上で極めて重要です。
残念なことに、レトリック構造理論 (RST) をトランスフォーマーベースの要約モデルに組み込むことに関する先行研究では、核性アノテーションのみが考慮されており、それによってさまざまな談話関係タイプが見落とされています。
本稿では、レトリック関係の種類と不確実性の両方を包括的に組み込んだ新しい要約モデル「RSTformer」を紹介します。
私たちの RST アテンション メカニズムは、文書レベルの修辞構造に根ざしており、最近考案された Longformer フレームワークの拡張です。
厳密な評価を通じて、ここで提案されたモデルは、いくつかの自動メトリクスおよび人間による評価における顕著なパフォーマンスによって証明されるように、最先端のモデルよりも顕著な優位性を示します。
要約(オリジナル)
For text summarization, the role of discourse structure is pivotal in discerning the core content of a text. Regrettably, prior studies on incorporating Rhetorical Structure Theory (RST) into transformer-based summarization models only consider the nuclearity annotation, thereby overlooking the variety of discourse relation types. This paper introduces the ‘RSTformer’, a novel summarization model that comprehensively incorporates both the types and uncertainty of rhetorical relations. Our RST-attention mechanism, rooted in document-level rhetorical structure, is an extension of the recently devised Longformer framework. Through rigorous evaluation, the model proposed herein exhibits significant superiority over state-of-the-art models, as evidenced by its notable performance on several automatic metrics and human evaluation.
arxiv情報
著者 | Dongqi Liu,Yifan Wang,Vera Demberg |
発行日 | 2024-12-10 08:59:20+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google