Length-Aware DETR for Robust Moment Retrieval

要約

ビデオ モーメント検索 (MR) は、特定の自然言語クエリに基づいてビデオ内の瞬間をローカライズすることを目的としています。
YouTube などの情報検索プラットフォームの普及により、MR 技術の需要が大幅に増加しています。
最近の DETR ベースのモデルは、パフォーマンスにおいて顕著な進歩を遂げていますが、短い瞬間の位置を正確に特定することに依然として苦労しています。
データ分析を通じて、短期間では機能の多様性が限られていることを特定し、これが MomentMix の開発の動機となりました。
MomentMix は、ForegroundMix と BackgroundMix という 2 つの拡張戦略を採用しており、それぞれ前景と背景の特徴表現を強化します。
さらに、予測バイアスの分析により、短い瞬間は、瞬間の中心位置を正確に予測するのが特に困難であることが明らかになりました。
これに対処するために、新しい 2 部マッチング プロセスを通じて長さを調整する長さ認識デコーダーを提案します。
私たちの広範な研究により、特に短い瞬間の位置を特定する際に、長さを意識したアプローチの有効性が実証され、全体的なパフォーマンスの向上につながります。
私たちの手法は、ベンチマーク データセットで最先端の DETR ベースの手法を上回り、QVHighlights で最高の R1 と mAP、TACoS および Charades-STA で最高の R1@0.7 を達成しました (R1@0.7 と Charades-STA では 2.46% の向上)。
QVHighlights の mAP 平均は 2.57% 増加)。
コードは https://github.com/sjpark5800/LA-DETR で入手できます。

要約(オリジナル)

Video Moment Retrieval (MR) aims to localize moments within a video based on a given natural language query. Given the prevalent use of platforms like YouTube for information retrieval, the demand for MR techniques is significantly growing. Recent DETR-based models have made notable advances in performance but still struggle with accurately localizing short moments. Through data analysis, we identified limited feature diversity in short moments, which motivated the development of MomentMix. MomentMix employs two augmentation strategies: ForegroundMix and BackgroundMix, each enhancing the feature representations of the foreground and background, respectively. Additionally, our analysis of prediction bias revealed that short moments particularly struggle with accurately predicting their center positions of moments. To address this, we propose a Length-Aware Decoder, which conditions length through a novel bipartite matching process. Our extensive studies demonstrate the efficacy of our length-aware approach, especially in localizing short moments, leading to improved overall performance. Our method surpasses state-of-the-art DETR-based methods on benchmark datasets, achieving the highest R1 and mAP on QVHighlights and the highest R1@0.7 on TACoS and Charades-STA (such as a 2.46% gain in R1@0.7 and a 2.57% gain in mAP average for QVHighlights). The code is available at https://github.com/sjpark5800/LA-DETR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google