Improving Long Text Understanding with Knowledge Distilled from Summarization Model

要約

長いテキストの理解は重要ですが、自然言語処理にとっては困難です。
長い記事や文書には通常、その要旨とは関係のない冗長な単語が多く含まれており、場合によってはノイズとみなされる場合があります。
最近の抽象的な要約の進歩に伴い、要約モデルの要点検出機能を活用し、抽出された要点を下流モデルに統合して長文理解能力を強化する \emph{要点検出器} を提案します。
具体的には、Gist Detector はまず要約モデルから抽出された要点検出の知識を学習し、次に要点を意識した表現を生成して下流モデルを強化します。
私たちは、長い文書の分類、遠隔監視されたオープンドメインの質問応答、および非並列テキスト スタイルの転送という 3 つの異なるタスクについてメソッドを評価します。
実験結果は、私たちの方法がすべてのタスクでベースラインモデルのパフォーマンスを大幅に向上できることを示しています。

要約(オリジナル)

Long text understanding is important yet challenging for natural language processing. A long article or document usually contains many redundant words that are not pertinent to its gist and sometimes can be regarded as noise. With recent advances of abstractive summarization, we propose our \emph{Gist Detector} to leverage the gist detection ability of a summarization model and integrate the extracted gist into downstream models to enhance their long text understanding ability. Specifically, Gist Detector first learns the gist detection knowledge distilled from a summarization model, and then produces gist-aware representations to augment downstream models. We evaluate our method on three different tasks: long document classification, distantly supervised open-domain question answering, and non-parallel text style transfer. The experimental results show that our method can significantly improve the performance of baseline models on all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google