Inducing Causal Structure for Abstractive Text Summarization

要約

データ駆動型の抽象的な要約モデルの主流は、因果関係ではなく相関関係を調査する傾向があります。
このような相関関係の中には、トレーニング コーパスから事前に学習した言語の影響を受け、学習されたモデルの全体的な有効性を損なう誤った相関関係が存在する可能性があります。
この問題に取り組むために、要約データの根底にある因果構造を誘導する構造因果モデル (SCM) を導入します。
文書と要約の内容とスタイルを表す、いくつかの潜在的な因果要因と非因果要因を想定します。
理論的には、観察されたトレーニング データを特定の条件下でフィッティングすることで、SCM の潜在的な要因を特定できることを証明します。
これに基づいて、因果関係を模倣できる因果表現を学習し、要約生成のための因果情報を追求するよう導く、因果関係に触発されたシーケンス間モデル (CI-Seq2Seq) を提案します。
重要なアイデアは、ドキュメントとトレーニング コーパスからの要約変数の結合分布に適合するように変分自動エンコーダー (VAE) を再定式化することです。
広く使用されている 2 つのテキスト要約データセットに関する実験結果は、私たちのアプローチの利点を示しています。

要約(オリジナル)

The mainstream of data-driven abstractive summarization models tends to explore the correlations rather than the causal relationships. Among such correlations, there can be spurious ones which suffer from the language prior learned from the training corpus and therefore undermine the overall effectiveness of the learned model. To tackle this issue, we introduce a Structural Causal Model (SCM) to induce the underlying causal structure of the summarization data. We assume several latent causal factors and non-causal factors, representing the content and style of the document and summary. Theoretically, we prove that the latent factors in our SCM can be identified by fitting the observed training data under certain conditions. On the basis of this, we propose a Causality Inspired Sequence-to-Sequence model (CI-Seq2Seq) to learn the causal representations that can mimic the causal factors, guiding us to pursue causal information for summary generation. The key idea is to reformulate the Variational Auto-encoder (VAE) to fit the joint distribution of the document and summary variables from the training corpus. Experimental results on two widely used text summarization datasets demonstrate the advantages of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google