Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level

要約

科学文書の要約は、入力テキストの構造が長いため、困難な作業でした。
入力が長いと、文間のグローバルな高次の関係と、抽出的要約の最も重要なステップであるローカルな文内関係の両方を同時に効果的にモデリングすることが妨げられます。
しかし、既存の方法は主に 1 つのタイプの関係に焦点を当てており、両方の関係を同時に効果的にモデリングすることを無視しているため、意味表現の学習が不十分になる可能性があります。
この論文では、階層的談話構造に基づいてドキュメントをローカルおよびグローバルにモデル化するグラフ ニューラル ネットワークを利用した新しいアプローチである HAESum を提案します。
まず、局所的な異種グラフを使用して文内の関係を学習します。
続いて、高次の文間関係の特徴付けをさらに強化するために、新しいハイパーグラフ セルフ アテンション レイヤーが導入されます。
私たちは 2 つのベンチマーク データセットでアプローチを検証し、実験結果は HAESum の有効性と、長い科学文書をモデル化する際に階層構造を考慮することの重要性を示しています。
私たちのコードは \url{https://github.com/MoLICENXI/HAESum} で入手できます。

要約(オリジナル)

Scientific document summarization has been a challenging task due to the long structure of the input text. The long input hinders the simultaneous effective modeling of both global high-order relations between sentences and local intra-sentence relations which is the most critical step in extractive summarization. However, existing methods mostly focus on one type of relation, neglecting the simultaneous effective modeling of both relations, which can lead to insufficient learning of semantic representations. In this paper, we propose HAESum, a novel approach utilizing graph neural networks to locally and globally model documents based on their hierarchical discourse structure. First, intra-sentence relations are learned using a local heterogeneous graph. Subsequently, a novel hypergraph self-attention layer is introduced to further enhance the characterization of high-order inter-sentence relations. We validate our approach on two benchmark datasets, and the experimental results demonstrate the effectiveness of HAESum and the importance of considering hierarchical structures in modeling long scientific documents. Our code will be available at \url{https://github.com/MoLICHENXI/HAESum}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google