Neural Networks with Divisive normalization for image segmentation with application in cityscapes dataset

要約

コンピュータビジョンにおける重要な問題の一つは適応である。モデルが硬すぎて入力の変動に追従できない。感覚神経科学における適応を説明する標準的な計算は、分割正規化であり、画像多様体に対して魅力的な効果を持つ。この研究では、現在のディープネットワークに分割正規化を含めることで、画像の非情報的な変化に対してより不変になることを示す。特に、画像セグメンテーションのためのU-Netアーキテクチャに注目する。実験によると、U-Netアーキテクチャに分割正規化を含めることで、従来のU-Netと比較してより良いセグメンテーション結果が得られることがわかった。また、悪天候下で撮影された画像を扱った場合、その利得は着実に増加する。また、CityscapesとFoggy Cityscapesのデータセットにおける結果に加え、応答の可視化により、これらの利点を説明する：分割正規化により引き起こされる等化は、コントラストと照明の局所的変化に対してより不変な特徴につながる。

要約(オリジナル)

One of the key problems in computer vision is adaptation: models are too rigid to follow the variability of the inputs. The canonical computation that explains adaptation in sensory neuroscience is divisive normalization, and it has appealing effects on image manifolds. In this work we show that including divisive normalization in current deep networks makes them more invariant to non-informative changes in the images. In particular, we focus on U-Net architectures for image segmentation. Experiments show that the inclusion of divisive normalization in the U-Net architecture leads to better segmentation results with respect to conventional U-Net. The gain increases steadily when dealing with images acquired in bad weather conditions. In addition to the results on the Cityscapes and Foggy Cityscapes datasets, we explain these advantages through visualization of the responses: the equalization induced by the divisive normalization leads to more invariant features to local changes in contrast and illumination.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL