SPEC: Summary Preference Decomposition for Low-Resource Abstractive Summarization

要約

ニューラル抽象要約は広く研究されており、大規模なコーパスで大きな成功を収めています。
ただし、データに注釈を付けるにはかなりのコストがかかるため、リソースの少ない設定で戦略を学習する必要性が生じます。
この論文では、学習サマライザの問題をほんの数例で調査し、改善のための対応する方法を提案します。
まず、典型的な転移学習法は、口実タスクにおけるデータの特性と学習目標の影響を受けやすいです。
したがって、事前トレーニング済みの言語モデルに基づいて、ソースコーパスからターゲットコーパスに少数ショット学習プロセスを転送するためのメタ学習フレームワークをさらに提示します。
第 2 に、以前の方法は、コンテンツと好みを分解することなく、トレーニング例から学習します。
したがって、生成された要約は、特に低リソース設定の下で、トレーニング セットの優先バイアスによって制約される可能性があります。
そのため、推論中の好みの制御を可能にするパラメーター変調を介して、学習中にコンテンツと好みを分解することを提案します。
第 3 に、対象となるアプリケーションが与えられた場合、必要な設定を指定することは簡単ではない可能性があります。
したがって、適切な好みを自動的に推定し、いくつかのトレーニング例から対応する要約候補を生成するための新しいデコード方法を提案します。
広範な実験により、当社の方法が 6 つの多様なコーパスで最先端のパフォーマンスを達成し、10 未満の ROUGE-1/2/L で 30.11%/33.95%/27.51% および 26.74%/31.14%/24.48% の平均改善が達成されることが実証されています。
そして100例の設定。

要約(オリジナル)

Neural abstractive summarization has been widely studied and achieved great success with large-scale corpora. However, the considerable cost of annotating data motivates the need for learning strategies under low-resource settings. In this paper, we investigate the problems of learning summarizers with only few examples and propose corresponding methods for improvements. First, typical transfer learning methods are prone to be affected by data properties and learning objectives in the pretext tasks. Therefore, based on pretrained language models, we further present a meta learning framework to transfer few-shot learning processes from source corpora to the target corpus. Second, previous methods learn from training examples without decomposing the content and preference. The generated summaries could therefore be constrained by the preference bias in the training set, especially under low-resource settings. As such, we propose decomposing the contents and preferences during learning through the parameter modulation, which enables control over preferences during inference. Third, given a target application, specifying required preferences could be non-trivial because the preferences may be difficult to derive through observations. Therefore, we propose a novel decoding method to automatically estimate suitable preferences and generate corresponding summary candidates from the few training examples. Extensive experiments demonstrate that our methods achieve state-of-the-art performance on six diverse corpora with 30.11%/33.95%/27.51% and 26.74%/31.14%/24.48% average improvements on ROUGE-1/2/L under 10- and 100-example settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google