Query-Utterance Attention with Joint modeling for Query-Focused Meeting Summarization

要約

クエリに焦点を当てた会議の要約 (QFMS) は、特定のクエリに応じて、会議の議事録から要約を生成することを目的としています。
以前の作業は通常、クエリを会議のトランスクリプトと連結し、アテンション メカニズムを使用してトークン レベルでのみクエリの関連性を暗黙的にモデル化します。
ただし、長い会議の議事録によって引き起こされる主要なクエリ関連情報の希薄化により、元の変換ベースのモデルは、クエリに関連する重要な部分を強調するには不十分です。
この論文では、Query-Utterance Attention に基づく共同モデリング トークンと発話によるクエリ認識フレームワークを提案します。
密な検索モジュールを使用して、クエリに対する発話レベルの関連性を計算します。
次に、トークン レベルのクエリの関連性と発話レベルのクエリの関連性の両方が結合され、アテンション メカニズムを明示的に使用して生成プロセスに組み込まれます。
さまざまな粒度のクエリ関連性が、クエリにより関連した要約の生成に寄与することを示します。
QMSum データセットの実験結果は、提案されたモデルが新しい最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Query-focused meeting summarization (QFMS) aims to generate summaries from meeting transcripts in response to a given query. Previous works typically concatenate the query with meeting transcripts and implicitly model the query relevance only at the token level with attention mechanism. However, due to the dilution of key query-relevant information caused by long meeting transcripts, the original transformer-based model is insufficient to highlight the key parts related to the query. In this paper, we propose a query-aware framework with joint modeling token and utterance based on Query-Utterance Attention. It calculates the utterance-level relevance to the query with a dense retrieval module. Then both token-level query relevance and utterance-level query relevance are combined and incorporated into the generation process with attention mechanism explicitly. We show that the query relevance of different granularities contributes to generating a summary more related to the query. Experimental results on the QMSum dataset show that the proposed model achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google