Query-Utterance Attention with Joint modeling for Query-Focused Meeting Summarization

要約

クエリ中心の会議要約 (QFMS) は、指定されたクエリに応じて会議記録から要約を生成することを目的としています。
従来の研究では通常、クエリと会議記録を連結し、アテンション メカニズムを使用してトークン レベルでのみクエリの関連性を暗黙的にモデル化していました。
ただし、会議の記録が長くなることで主要なクエリ関連情報が希薄化するため、元のトランスフォーマー ベースのモデルでは、クエリに関連する重要な部分を強調するには不十分です。
この論文では、クエリ発話アテンションに基づく共同モデリング トークンと発話を備えたクエリ認識フレームワークを提案します。
高密度検索モジュールを使用して、クエリに対する発話レベルの関連性を計算します。
次に、トークン レベルのクエリ関連性と発話レベルのクエリ関連性の両方が結合され、アテンション メカニズムを使用して生成プロセスに明示的に組み込まれます。
さまざまな粒度のクエリの関連性が、クエリにより関連した概要の生成に寄与することを示します。
QMSum データセットの実験結果は、提案されたモデルが新しい最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Query-focused meeting summarization (QFMS) aims to generate summaries from meeting transcripts in response to a given query. Previous works typically concatenate the query with meeting transcripts and implicitly model the query relevance only at the token level with attention mechanism. However, due to the dilution of key query-relevant information caused by long meeting transcripts, the original transformer-based model is insufficient to highlight the key parts related to the query. In this paper, we propose a query-aware framework with joint modeling token and utterance based on Query-Utterance Attention. It calculates the utterance-level relevance to the query with a dense retrieval module. Then both token-level query relevance and utterance-level query relevance are combined and incorporated into the generation process with attention mechanism explicitly. We show that the query relevance of different granularities contributes to generating a summary more related to the query. Experimental results on the QMSum dataset show that the proposed model achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google