MH-DETR: Video Moment and Highlight Detection with Cross-modal Transformer

要約

【タイトル】
クロスモーダルトランスフォーマーを用いた動画モーメントとハイライトの検出

【要約】
– 動画理解への需要の増加に伴い、動画モーメントとハイライトの検出（MHD）が重要な研究トピックとなっている。
– MHDは、瞬間をすべて特定し、クリップごとの目立ち度スコアを同時に予測することを目的とする。
– 既存のDETRベースの手法によって進展が見られたが、これらの手法は異なるモダリティから得られた特徴を粗く融合しているため、時間的なイントラモーダルコンテキストが弱まり、十分なクロスモーダルインタラクションが不足している。
– これを解決するために、MHDに特化したMH-DETR（モーメントとハイライト検出トランスフォーマー）を提案する。
– 具体的には、ユニモーダルエンコーダ内にシンプルで効率的なプーリング演算子を導入して、グローバルなイントラモーダルコンテキストを捉える。
– さらに、エンコーダとデコーダの間にプラグアンドプレイのクロスモーダルインタラクションモジュールを設計して、ビジュアルとテキストの特徴をシームレスに統合して、時間的に整列したクロスモーダルの特徴を得る。
– QVHighlights、Charades-STA、Activity-Net、TVSumの幅広い実験により、MH-DETRが既存の最先端の手法を上回り、その効果と優越性を示した。コードはhttps://github.com/YoucanBaby/MH-DETRで利用可能。

要約(オリジナル)

With the increasing demand for video understanding, video moment and highlight detection (MHD) has emerged as a critical research topic. MHD aims to localize all moments and predict clip-wise saliency scores simultaneously. Despite progress made by existing DETR-based methods, we observe that these methods coarsely fuse features from different modalities, which weakens the temporal intra-modal context and results in insufficient cross-modal interaction. To address this issue, we propose MH-DETR (Moment and Highlight Detection Transformer) tailored for MHD. Specifically, we introduce a simple yet efficient pooling operator within the uni-modal encoder to capture global intra-modal context. Moreover, to obtain temporally aligned cross-modal features, we design a plug-and-play cross-modal interaction module between the encoder and decoder, seamlessly integrating visual and textual features. Comprehensive experiments on QVHighlights, Charades-STA, Activity-Net, and TVSum datasets show that MH-DETR outperforms existing state-of-the-art methods, demonstrating its effectiveness and superiority. Our code is available at https://github.com/YoucanBaby/MH-DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI