Boosting Summarization with Normalizing Flows and Aggressive Training

要約

この論文では、Transformer ベースの要約のための正規化フローベースの変分エンコーダ/デコーダ フレームワークである FlowSUM について説明します。
私たちのアプローチは、変分要約における 2 つの主な課題、つまり潜在表現における意味情報の不足とトレーニング中の事後崩壊に取り組みます。
これらの課題に対処するために、私たちは正規化フローを採​​用して柔軟な潜在事後モデリングを可能にし、改良されたゲートメカニズムを備えた制御された代替積極的トレーニング (CAAT) 戦略を提案します。
実験結果は、FlowSUM が生成される概要の品質を大幅に向上させ、推論時間への影響を最小限に抑えながら知識の蒸留の可能性を解き放つことを示しています。
さらに、正規化フローにおける事後崩壊の問題を調査し、トレーニング戦略、ゲートの初期化、使用される正規化フローの種類と数によって要約の品質がどのように影響を受けるかを分析し、将来の研究に貴重な洞察を提供します。

要約(オリジナル)

This paper presents FlowSUM, a normalizing flows-based variational encoder-decoder framework for Transformer-based summarization. Our approach tackles two primary challenges in variational summarization: insufficient semantic information in latent representations and posterior collapse during training. To address these challenges, we employ normalizing flows to enable flexible latent posterior modeling, and we propose a controlled alternate aggressive training (CAAT) strategy with an improved gate mechanism. Experimental results show that FlowSUM significantly enhances the quality of generated summaries and unleashes the potential for knowledge distillation with minimal impact on inference time. Furthermore, we investigate the issue of posterior collapse in normalizing flows and analyze how the summary quality is affected by the training strategy, gate initialization, and the type and number of normalizing flows used, offering valuable insights for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google