Timeline and Boundary Guided Diffusion Network for Video Shadow Detection

要約

ビデオ シャドウ検出 (VSD) は、フレーム シーケンスを使用してシャドウ マスクを検出することを目的としています。
既存の作品は非効率な時間学習に悩まされています。
さらに、影の特性 (つまり、境界) を考慮して VSD 問題に取り組んでいる研究はほとんどありません。
これを動機として、過去から未来の時間的ガイダンスと境界情報を共同で考慮する、VSD 用のタイムラインと境界誘導拡散 (TBGDiff) ネットワークを提案します。
詳細には、クリップされたビデオに対する長期フレームと短期フレームの親和性を再考することで、時間的理解をより良くするためのデュアル スケール アグリゲーション (DSA) モジュールを設計します。
次に、エッジ コンテキストを利用して影の特徴を捉える Shadow Boundary Aware Attendance (SBAA) を紹介します。
さらに、我々は、VSD の拡散モデルを初めて導入しました。このモデルでは、影検出を実行するための拡散の時間的ガイダンスを注入する時空間エンコード埋め込み (STEE) を検討しています。
これらの設計の恩恵を受けて、私たちのモデルは時間情報だけでなく、影のプロパティもキャプチャできます。
広範な実験により、当社のアプローチのパフォーマンスが最先端の方法を上回ることが示され、当社のコンポーネントの有効性が検証されました。
コード、重み、結果は \url{https://github.com/haipengzhou856/TBGDiff} で公開されています。

要約(オリジナル)

Video Shadow Detection (VSD) aims to detect the shadow masks with frame sequence. Existing works suffer from inefficient temporal learning. Moreover, few works address the VSD problem by considering the characteristic (i.e., boundary) of shadow. Motivated by this, we propose a Timeline and Boundary Guided Diffusion (TBGDiff) network for VSD where we take account of the past-future temporal guidance and boundary information jointly. In detail, we design a Dual Scale Aggregation (DSA) module for better temporal understanding by rethinking the affinity of the long-term and short-term frames for the clipped video. Next, we introduce Shadow Boundary Aware Attention (SBAA) to utilize the edge contexts for capturing the characteristics of shadows. Moreover, we are the first to introduce the Diffusion model for VSD in which we explore a Space-Time Encoded Embedding (STEE) to inject the temporal guidance for Diffusion to conduct shadow detection. Benefiting from these designs, our model can not only capture the temporal information but also the shadow property. Extensive experiments show that the performance of our approach overtakes the state-of-the-art methods, verifying the effectiveness of our components. We release the codes, weights, and results at \url{https://github.com/haipengzhou856/TBGDiff}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google