TransVCL: Attention-enhanced Video Copy Localization Network with Flexible Supervision

要約

ビデオ コピーのローカリゼーションは、ビデオ検索アプリケーションでトリミングされていないビデオのペア内のコピーされたすべてのセグメントを正確にローカライズすることを目的としています。
以前の方法は通常、入力ビデオ ペアのフレーム レベルの特徴間のコサイン類似性によって生成されたフレーム間の類似性マトリックスから開始し、時間的制約の下で類似性マトリックス上でコピーされたセグメントの境界を検出して調整します。
このホワイト ペーパーでは、TransVCL を提案します。これは、最初のフレーム レベルの機能から直接最適化され、3 つの主要コンポーネントでエンドツーエンドでトレーニングされる注意力強化ビデオ コピー ローカリゼーション ネットワークです。
類似性マトリックス生成用のレイヤー、およびコピーされたセグメントのローカリゼーション用の時間的アライメント モジュール。
手作りの類似性マトリックスを必要とする以前の方法とは対照的に、TransVCL は、自己注意層と相互注意層を使用して、特徴シーケンス ペア間に長期の時間情報を組み込みます。
3 つのコンポーネントの共同設計と最適化により、類似性マトリックスを学習して、より識別可能なコピーされたパターンを提示することができ、セグメントレベルのラベル付きデータセット (VCSL および VCDB) での以前の方法よりも大幅に改善されます。
完全に監視された設定での最先端のパフォーマンスに加えて、アテンション アーキテクチャにより、TransVCL はラベルのない、または単純にビデオ レベルのラベル付きデータをさらに活用できます。
SVD や FIVR などのビデオ レベルのラベル付きデータセットを補足する追加の実験では、完全な監視から半監視 (ビデオ レベルの注釈の有無にかかわらず) までの TransVCL の高い柔軟性が明らかになりました。
コードは https://github.com/transvcl/TransVCL で公開されています。

要約(オリジナル)

Video copy localization aims to precisely localize all the copied segments within a pair of untrimmed videos in video retrieval applications. Previous methods typically start from frame-to-frame similarity matrix generated by cosine similarity between frame-level features of the input video pair, and then detect and refine the boundaries of copied segments on similarity matrix under temporal constraints. In this paper, we propose TransVCL: an attention-enhanced video copy localization network, which is optimized directly from initial frame-level features and trained end-to-end with three main components: a customized Transformer for feature enhancement, a correlation and softmax layer for similarity matrix generation, and a temporal alignment module for copied segments localization. In contrast to previous methods demanding the handcrafted similarity matrix, TransVCL incorporates long-range temporal information between feature sequence pair using self- and cross- attention layers. With the joint design and optimization of three components, the similarity matrix can be learned to present more discriminative copied patterns, leading to significant improvements over previous methods on segment-level labeled datasets (VCSL and VCDB). Besides the state-of-the-art performance in fully supervised setting, the attention architecture facilitates TransVCL to further exploit unlabeled or simply video-level labeled data. Additional experiments of supplementing video-level labeled datasets including SVD and FIVR reveal the high flexibility of TransVCL from full supervision to semi-supervision (with or without video-level annotation). Code is publicly available at https://github.com/transvcl/TransVCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google