Multi-scale 2D Temporal Map Diffusion Models for Natural Language Video Localization

要約

自然言語ビデオ ローカリゼーション (NLVL) は、自然言語の説明から対応するビデオ セグメントへの基礎となるフレーズであり、ビデオを理解する上で複雑ですが重要なタスクです。
進歩が続いているにもかかわらず、既存のソリューションの多くには、ビデオ データの時間的ダイナミクスをグローバルにキャプチャする機能がありません。
この研究では、この問題に対処することを目的とした NLVL への新しいアプローチを紹介します。
私たちの方法には、入力ビデオと言語クエリに基づいて、条件付きノイズ除去拡散プロセスを介してグローバル 2D 時間マップを直接生成することが含まれます。
主な課題は、拡散デコーダを考案する際の 2D 時間マップに固有のスパース性と不連続性です。
これらの課題に対処するために、私たちはマルチスケール技術を導入し、革新的な拡散デコーダを開発しました。
私たちのアプローチは、さまざまな時間スケールにわたるクエリとビデオ データの間の相互作用を効果的にカプセル化します。
Charade と DiDeMo データセットの実験は、私たちの設計の有効性を強調しています。

要約(オリジナル)

Natural Language Video Localization (NLVL), grounding phrases from natural language descriptions to corresponding video segments, is a complex yet critical task in video understanding. Despite ongoing advancements, many existing solutions lack the capability to globally capture temporal dynamics of the video data. In this study, we present a novel approach to NLVL that aims to address this issue. Our method involves the direct generation of a global 2D temporal map via a conditional denoising diffusion process, based on the input video and language query. The main challenges are the inherent sparsity and discontinuity of a 2D temporal map in devising the diffusion decoder. To address these challenges, we introduce a multi-scale technique and develop an innovative diffusion decoder. Our approach effectively encapsulates the interaction between the query and video data across various time scales. Experiments on the Charades and DiDeMo datasets underscore the potency of our design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google