Detect Any Shadow: Segment Anything for Video Shadow Detection

要約

セグメント何でもモデル (SAM) は、自然な画像セグメンテーションの分野で大きな成功を収めています。
それにもかかわらず、SAM は影を背景として考慮する傾向があるため、影に対してセグメンテーションを実行しません。
この論文では、影を検出するために SAM を微調整するためのシンプルかつ効果的なフレームワークである ShadowSAM を提案します。
さらに、長期短期注意メカニズムと組み合わせることで、効率的なビデオ影検出の機能を拡張します。
具体的には、まず、グラウンド トゥルース シャドウ マスクから取得した境界ボックスを利用して、ViSha トレーニング データセット上の SAM を微調整します。
次に、推論段階で、特定のフレーム (最初のフレームなど) を検出するための境界ボックスを提供することで、ユーザー インタラクションをシミュレートします。
続いて、検出されたシャドウマスクを事前分布として使用し、長期短期ネットワークを使用して、離れたフレーム間の空間的相関と隣接するフレーム間の時間的一貫性を学習し、それによってビデオフレーム全体にわたる正確なシャドウ情報の伝播を実現します。
広範な実験結果は、MAE および IoU メトリクスの点で最先端のアプローチを大幅に上回る、私たちの方法の有効性を示しています。
さらに、私たちの方法は、以前のビデオ影検出アプローチと比較して加速された推論速度を示し、私たちの方法の有効性と効率性を検証します。
ソース コードは現在、https://github.com/harrytea/Detect-AnyShadow で公開されています。

要約(オリジナル)

Segment anything model (SAM) has achieved great success in the field of natural image segmentation. Nevertheless, SAM tends to consider shadows as background and therefore does not perform segmentation on them. In this paper, we propose ShadowSAM, a simple yet effective framework for fine-tuning SAM to detect shadows. Besides, by combining it with long short-term attention mechanism, we extend its capability for efficient video shadow detection. Specifically, we first fine-tune SAM on ViSha training dataset by utilizing the bounding boxes obtained from the ground truth shadow mask. Then during the inference stage, we simulate user interaction by providing bounding boxes to detect a specific frame (e.g., the first frame). Subsequently, using the detected shadow mask as a prior, we employ a long short-term network to learn spatial correlations between distant frames and temporal consistency between adjacent frames, thereby achieving precise shadow information propagation across video frames. Extensive experimental results demonstrate the effectiveness of our method, with notable margin over the state-of-the-art approaches in terms of MAE and IoU metrics. Moreover, our method exhibits accelerated inference speed compared to previous video shadow detection approaches, validating the effectiveness and efficiency of our method. The source code is now publicly available at https://github.com/harrytea/Detect-AnyShadow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google