VideoXum: Cross-modal Visual and Textural Summarization of Videos

要約

ビデオの要約は、ソースビデオから最も重要な情報を抽出して、要約されたクリップまたはテキストのナラティブを作成することを目的としています。
従来、出力がビデオであるかテキストであるかに応じて異なる方法が提案されており、視覚的な要約とテキストによる要約という意味的に関連する 2 つのタスク間の相関関係が無視されてきました。
ビデオとテキストを組み合わせた新しい要約タスクを提案します。
目標は、短いビデオ クリップと、長いビデオから対応するテキストの要約 (総称してクロスモーダル サマリーと呼ばれます) の両方を生成することです。
生成された短縮ビデオ クリップとテキスト ナラティブは、意味的に適切に調整されている必要があります。
この目的を達成するために、まず人間が注釈を付けた大規模なデータセット、VideoXum (X はさまざまなモダリティを指します) を構築します。
データセットは、ActivityNet に基づいて再アノテーションが付けられます。
長さの要件を満たさないビデオをフィルターで除外した後、14,001 の長いビデオが新しいデータセットに残ります。
再アノテーションが付けられたデータセット内の各ビデオには、人間によるアノテーションが付けられたビデオの概要と、対応する物語の概要が含まれています。
次に、提案したタスクの課題に対処するために、新しいエンドツーエンド モデル VTSUM-BILP を設計します。
さらに、クロスモダリティ要約の意味的一貫性を評価するのに役立つ、VT-CLIPScore と呼ばれる新しい指標を提案します。
提案されたモデルは、この新しいタスクで有望なパフォーマンスを達成し、将来の研究のベンチマークを確立します。

要約(オリジナル)

Video summarization aims to distill the most important information from a source video to produce either an abridged clip or a textual narrative. Traditionally, different methods have been proposed depending on whether the output is a video or text, thus ignoring the correlation between the two semantically related tasks of visual summarization and textual summarization. We propose a new joint video and text summarization task. The goal is to generate both a shortened video clip along with the corresponding textual summary from a long video, collectively referred to as a cross-modal summary. The generated shortened video clip and text narratives should be semantically well aligned. To this end, we first build a large-scale human-annotated dataset — VideoXum (X refers to different modalities). The dataset is reannotated based on ActivityNet. After we filter out the videos that do not meet the length requirements, 14,001 long videos remain in our new dataset. Each video in our reannotated dataset has human-annotated video summaries and the corresponding narrative summaries. We then design a novel end-to-end model — VTSUM-BILP to address the challenges of our proposed task. Moreover, we propose a new metric called VT-CLIPScore to help evaluate the semantic consistency of cross-modality summary. The proposed model achieves promising performance on this new task and establishes a benchmark for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google