Networks are Slacking Off: Understanding Generalization Problem in Image Deraining

要約

ディープディレインネットワークは、実験室のベンチマークでは成功していますが、現実世界のアプリケーションに展開すると、常に重大な一般化の問題に遭遇します。
深層学習における一般的な考え方は、より豊富な画像コンテンツの知識が一般化問題の克服を容易にするという期待とともに、非常に複雑なトレーニング データの使用を奨励しています。
しかし、包括的かつ体系的な実験を通じて、この戦略はこれらのネットワークの一般化能力を強化しないことがわかりました。
それどころか、ネットワークが特定の劣化に過剰適合する傾向が悪化します。
私たちの実験では、トレーニング データの複雑さを単純化することで、ディレイン ネットワークにおけるより良い一般化が達成できることが明らかになりました。
これは、トレーニング中にネットワークが緩んでいるため、つまり、トレーニングの損失を最小限に抑えるために、画像コンテンツの最も複雑でない要素と劣化を学習しているためです。
背景画像の複雑さが雨縞の複雑さよりも低い場合、ネットワークは背景の再構築を優先するため、雨のパターンへの過剰適合が回避され、汎化パフォーマンスが向上します。
私たちの研究は、低レベルの視覚タスクにおける一般化問題をより深く理解するための貴重な視点と方法論を提供するだけでなく、有望な実用的な可能性も示しています。

要約(オリジナル)

Deep deraining networks, while successful in laboratory benchmarks, consistently encounter substantial generalization issues when deployed in real-world applications. A prevailing perspective in deep learning encourages the use of highly complex training data, with the expectation that a richer image content knowledge will facilitate overcoming the generalization problem. However, through comprehensive and systematic experimentation, we discovered that this strategy does not enhance the generalization capability of these networks. On the contrary, it exacerbates the tendency of networks to overfit to specific degradations. Our experiments reveal that better generalization in a deraining network can be achieved by simplifying the complexity of the training data. This is due to the networks are slacking off during training, that is, learning the least complex elements in the image content and degradation to minimize training loss. When the complexity of the background image is less than that of the rain streaks, the network will prioritize the reconstruction of the background, thereby avoiding overfitting to the rain patterns and resulting in improved generalization performance. Our research not only offers a valuable perspective and methodology for better understanding the generalization problem in low-level vision tasks, but also displays promising practical potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google