SILT: Shadow-aware Iterative Label Tuning for Learning to Detect Shadows from Noisy Labels

要約

既存の影検出データセットには、欠落した影や誤ってラベル付けされた影が含まれることが多く、そのようなデータで直接トレーニングされた深層学習モデルのパフォーマンスが妨げられる可能性があります。
この問題に対処するために、シャドウ ラベルのノイズを明示的に考慮し、自己トレーニング方式でディープ モデルをトレーニングするシャドウ認識反復ラベル チューニング フレームワークである SILT を提案します。
具体的には、シャドウ偽造による強力なデータ拡張を組み込んで、ネットワークが非シャドウ領域をより適切に認識し、オーバーフィッティングを軽減できるようにします。
また、グローバルとローカルの融合とシャドウ認識フィルタリングを使用した、シンプルだが効果的なラベル調整戦略を考案し、ネットワークがノイズの多いラベルを大幅に改善することを促進します。
SBU データセットのテストセットのラベルを変更し、さまざまな実験を行うことで、SILT のパフォーマンスを評価します。
私たちの結果は、SILT でトレーニングされた単純な U-Net であっても、すべての最先端の手法を大幅に上回るパフォーマンスを発揮できることを示しています。
SBU / UCF / ISTD でトレーニングされた場合、当社のネットワークは、最先端の最良の方法と比較して、平衡エラー率を 25.2% / 36.9% / 21.3% 削減することに成功しました。

要約(オリジナル)

Existing shadow detection datasets often contain missing or mislabeled shadows, which can hinder the performance of deep learning models trained directly on such data. To address this issue, we propose SILT, the Shadow-aware Iterative Label Tuning framework, which explicitly considers noise in shadow labels and trains the deep model in a self-training manner. Specifically, we incorporate strong data augmentations with shadow counterfeiting to help the network better recognize non-shadow regions and alleviate overfitting. We also devise a simple yet effective label tuning strategy with global-local fusion and shadow-aware filtering to encourage the network to make significant refinements on the noisy labels. We evaluate the performance of SILT by relabeling the test set of the SBU dataset and conducting various experiments. Our results show that even a simple U-Net trained with SILT can outperform all state-of-the-art methods by a large margin. When trained on SBU / UCF / ISTD, our network can successfully reduce the Balanced Error Rate by 25.2% / 36.9% / 21.3% over the best state-of-the-art method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google