Topic-Controllable Summarization: Topic-Aware Evaluation and Transformer Methods

要約

トピック制御可能な要約は、幅広い応用の可能性を秘めた新興研究分野です。
ただし、既存のアプローチには重大な制限があります。
たとえば、既存のメソッドの大部分はリカレント アーキテクチャに基づいて構築されており、最近の Transformer ベースのアーキテクチャと比較してパフォーマンスが大幅に制限される可能性があり、トピックを制御するためにモデルのアーキテクチャを変更する必要もあります。
同時に、トピック制御可能な要約のために特別に設計された確立された評価指標は現在ありません。
この研究では、生成された要約と目的のトピックの間のトピックの親和性に基づいて、生成された要約を自動的に評価する、新しいトピック指向の評価尺度を提案します。
提案された対策の信頼性は、適切に設計された人間による評価によって実証されます。
さらに、強力な Transformer アーキテクチャで動作するようにトピックの埋め込みを調整し、コントロール トークンを介して概要の生成をガイドするための斬新で効率的なアプローチを提案します。
実験結果から、コントロール トークンは、より複雑な埋め込みベースのアプローチと比較して、より優れたパフォーマンスを実現しながら、大幅に高速であることが明らかになりました。

要約(オリジナル)

Topic-controllable summarization is an emerging research area with a wide range of potential applications. However, existing approaches suffer from significant limitations. For example, the majority of existing methods built upon recurrent architectures, which can significantly limit their performance compared to more recent Transformer-based architectures, while they also require modifications to the model’s architecture for controlling the topic. At the same time, there is currently no established evaluation metric designed specifically for topic-controllable summarization. This work proposes a new topic-oriented evaluation measure to automatically evaluate the generated summaries based on the topic affinity between the generated summary and the desired topic. The reliability of the proposed measure is demonstrated through appropriately designed human evaluation. In addition, we adapt topic embeddings to work with powerful Transformer architectures and propose a novel and efficient approach for guiding the summary generation through control tokens. Experimental results reveal that control tokens can achieve better performance compared to more complicated embedding-based approaches while also being significantly faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google