RenDetNet: Weakly-supervised Shadow Detection with Shadow Caster Verification

要約

既存の影検出モデルは、暗い画像領域を影から区別するのに苦労しています。
この論文では、検出されたすべての影が本物であること、つまり、シャドウキャスターのペアがあることを検証することで、この問題に取り組みます。
このステップは、シーンを微分可能に再レンダリングし、推定されたシャドウキャスターの切り出しから生じる変化を観察することにより、物理的に正確な方法で実行されます。
このアプローチのおかげで、この論文で提案されている RenDetNet は、監視信号を自己監視方式で計算できる最初の学習ベースの影検出モデルです。
開発されたシステムは、当社のデータでトレーニングされた最近のモデルと比較して優れています。
この出版物の一環として、コードを github でリリースします。

要約(オリジナル)

Existing shadow detection models struggle to differentiate dark image areas from shadows. In this paper, we tackle this issue by verifying that all detected shadows are real, i.e. they have paired shadow casters. We perform this step in a physically-accurate manner by differentiably re-rendering the scene and observing the changes stemming from carving out estimated shadow casters. Thanks to this approach, the RenDetNet proposed in this paper is the first learning-based shadow detection model whose supervisory signals can be computed in a self-supervised manner. The developed system compares favourably against recent models trained on our data. As part of this publication, we release our code on github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google