Reinforcement Replaces Supervision: Query focused Summarization using Deep Reinforcement Learning

要約

クエリ中心の要約 (QfS) は、クエリに基づいてドキュメントから要約を生成するシステムを扱います。
強化学習 (RL) は自然言語生成のための教師あり学習 (SL) に一般化を提供し、それによって SL よりも (経験的に) 優れたパフォーマンスを発揮するという洞察に動機付けられ、私たちは QfS のこのタスクに RL ベースのアプローチを使用します。
さらに、トランスフォーマーで RL を採用することと教師の強制による矛盾も解決します。
私たちは、ROUGE、BLEU、セマンティック類似性などのさまざまな報酬シグナルでトレーニングされた複数のポリシー勾配ネットワークを開発します。これにより、ベンチマーク データセットの ROUGE-L メトリックに関して、最先端のアプローチよりも 10 ポイントの改善がもたらされます (
ELI5)。
また、別のベンチマーク データセット (DebatePedia) のゼロショット設定でのアプローチのパフォーマンスも示します。私たちのアプローチは、DebatePedia で特別にトレーニングされたベースラインと同等の結果をもたらします。
RL トレーニングを支援するために、クラスター仮説を使用して開発された新しいパッセージ埋め込みスキームによって可能になる、より優れた意味的類似性報酬を提案します。
最後に、QfS および長文質問応答 (LfQA) のさらなる研究にゴールドスタンダードのテスト データセットを提供します。

要約(オリジナル)

Query-focused Summarization (QfS) deals with systems that generate summaries from document(s) based on a query. Motivated by the insight that Reinforcement Learning (RL) provides a generalization to Supervised Learning (SL) for Natural Language Generation, and thereby performs better (empirically) than SL, we use an RL-based approach for this task of QfS. Additionally, we also resolve the conflict of employing RL in Transformers with Teacher Forcing. We develop multiple Policy Gradient networks, trained on various reward signals: ROUGE, BLEU, and Semantic Similarity, which lead to a 10-point improvement over the State-of-the-Art approach on the ROUGE-L metric for a benchmark dataset (ELI5). We also show performance of our approach in zero-shot setting for another benchmark dataset (DebatePedia) — our approach leads to results comparable to baselines, which were specifically trained on DebatePedia. To aid the RL training, we propose a better semantic similarity reward, enabled by a novel Passage Embedding scheme developed using Cluster Hypothesis. Lastly, we contribute a gold-standard test dataset to further research in QfS and Long-form Question Answering (LfQA).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google