ATSumm: Auxiliary information enhanced approach for abstractive disaster Tweet Summarization with sparse training data

要約

Twitter には状況情報が豊富にあるため、災害時にユーザーが重要な関連情報を手動で識別するのは困難です。
この情報の簡潔で人間が解釈可能な概要は、意思決定者が効率的かつ迅速な災害対応を実施するのに役立ちます。
既存の抽象的な要約アプローチは、文ベースのアプローチまたはキーフレーズベースのアプローチとして分類できます。
この論文では、文献では通常 2 段階の手順として実装されている文ベースのアプローチに焦点を当てています。
抽出フェーズとして知られる最初のフェーズでは、最も関連性の高いツイートを特定します。
抽象化フェーズと呼ばれる次のフェーズでは、より人間が解釈可能な要約を生成する必要があります。
この研究では、抽出フェーズに先行研究の方法論を採用します。
要約の抽象化段階では、既存のアプローチのほとんどが深層学習ベースのフレームワークを採用していますが、これは事前にトレーニングすることも、最初からトレーニングする必要があることもあります。
ただし、適切なレベルのパフォーマンスを達成するには、両方の方法に対する十分なトレーニング データが不可欠ですが、これはすぐには入手できません。
この研究では、補助情報を使用してデータの希薄性の問題に効果的に対処する Abstractive Tweet Summarizer (ATSumm) を紹介します。
キーフレーズ アテンションと呼ばれる独自のアテンション メカニズムを利用する補助ポインター ジェネレーター ネットワーク (AuxPGN) モデルを導入しました。
この注意メカニズムには、入力ツイートからのキーフレーズとそれに対応する重要度スコアの形式で補助情報が組み込まれています。
提案されたアプローチを、13 の災害データセットにわたる 10 の最先端のアプローチと比較することで評価します。
評価結果は、ATSumm が最先端のアプローチと比較して優れたパフォーマンスを達成し、ROUGE-N F1 スコアが 4 ～ 80% 向上したことを示しています。

要約(オリジナル)

The abundance of situational information on Twitter poses a challenge for users to manually discern vital and relevant information during disasters. A concise and human-interpretable overview of this information helps decision-makers in implementing efficient and quick disaster response. Existing abstractive summarization approaches can be categorized as sentence-based or key-phrase-based approaches. This paper focuses on sentence-based approach, which is typically implemented as a dual-phase procedure in literature. The initial phase, known as the extractive phase, involves identifying the most relevant tweets. The subsequent phase, referred to as the abstractive phase, entails generating a more human-interpretable summary. In this study, we adopt the methodology from prior research for the extractive phase. For the abstractive phase of summarization, most existing approaches employ deep learning-based frameworks, which can either be pre-trained or require training from scratch. However, to achieve the appropriate level of performance, it is imperative to have substantial training data for both methods, which is not readily available. This work presents an Abstractive Tweet Summarizer (ATSumm) that effectively addresses the issue of data sparsity by using auxiliary information. We introduced the Auxiliary Pointer Generator Network (AuxPGN) model, which utilizes a unique attention mechanism called Key-phrase attention. This attention mechanism incorporates auxiliary information in the form of key-phrases and their corresponding importance scores from the input tweets. We evaluate the proposed approach by comparing it with 10 state-of-the-art approaches across 13 disaster datasets. The evaluation results indicate that ATSumm achieves superior performance compared to state-of-the-art approaches, with improvement of 4-80% in ROUGE-N F1-score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google