Revisiting the Generalization Problem of Low-level Vision Models Through the Lens of Image Deraining

要約

一般化は、低レベルのビジョンモデルにとって重要な課題であり、制御されたベンチマークで成功したにもかかわらず、現実世界のシナリオでは目に見えない劣化に苦労していることがよくあります。
この論文では、低レベルの視覚モデルの一般化問題を再検討します。
画像由来は、その明確に定義され、簡単に分離された構造のためにケーススタディとして選択され、より効果的な観察と分析が可能になります。
包括的な実験を通じて、一般化の問題は主にネットワーク容量が限られているのではなく、既存のトレーニング戦略の失敗によるものであることを明らかにします。
私たちの調査結果は、劣化パターンではなく、基礎となる画像コンテンツの学習に集中するためのガイドネットワークが一般化を改善するための鍵であることを示しています。
トレーニングデータの背景画像と劣化の複雑さのバランスをとることで、ネットワークが画像の分布に適合することを実証します。
さらに、事前に訓練された生成モデルからコンテンツプリエを組み込むと、一般化が大幅に向上します。
画像由来と画像除去の両方での実験は、提案された戦略を検証します。
洞察とソリューションは、さらなる研究を促し、低レベルの視覚モデルの一般化を改善すると考えています。

要約(オリジナル)

Generalization remains a significant challenge for low-level vision models, which often struggle with unseen degradations in real-world scenarios despite their success in controlled benchmarks. In this paper, we revisit the generalization problem in low-level vision models. Image deraining is selected as a case study due to its well-defined and easily decoupled structure, allowing for more effective observation and analysis. Through comprehensive experiments, we reveal that the generalization issue is not primarily due to limited network capacity but rather the failure of existing training strategies, which leads networks to overfit specific degradation patterns. Our findings show that guiding networks to focus on learning the underlying image content, rather than the degradation patterns, is key to improving generalization. We demonstrate that balancing the complexity of background images and degradations in the training data helps networks better fit the image distribution. Furthermore, incorporating content priors from pre-trained generative models significantly enhances generalization. Experiments on both image deraining and image denoising validate the proposed strategies. We believe the insights and solutions will inspire further research and improve the generalization of low-level vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google