A simple normalization technique using window statistics to improve the out-of-distribution generalization in medical images

要約

データの不足とデータの不均一性が医用画像に蔓延しているため、以前の正規化方法を使用して十分にトレーニングされた畳み込みニューラルネットワーク（CNN）は、新しいサイトに展開するとパフォーマンスが低下する可能性があります。
ただし、実際のアプリケーションの信頼できるモデルは、配布内（IND）データと配布外（OOD）データ（新しいサイトデータなど）の両方で適切に一般化できる必要があります。
この研究では、ウィンドウ正規化（WIN）と呼ばれる新しい正規化手法を紹介します。これは、既存の正規化方法に代わるシンプルで効果的な方法です。
具体的には、WINは、機能のウィンドウで計算されたローカル統計を使用して正規化統計を混乱させます。
この機能レベルの拡張手法は、モデルを適切に正規化し、OODの一般化を大幅に改善します。
その利点を利用して、分類におけるOODの一般化をさらに改善するために、WIN-WINと呼ばれる新しい自己蒸留法を提案します。
WIN-WINは、2回のフォワードパスと整合性制約を使用して簡単に実装できます。これは、既存のメソッドの単純な拡張になります。
さまざまなタスク（緑内障の検出、乳がんの検出、染色体の分類、視神経乳頭とカップのセグメンテーションなど）とデータセット（26のデータセット）に関する広範な実験結果は、私たちの方法の一般性と有効性を示しています。
コードはhttps://github.com/joe1chief/windowNormalizaionで入手できます。

要約(オリジナル)

Since data scarcity and data heterogeneity are prevailing for medical images, well-trained Convolutional Neural Networks (CNNs) using previous normalization methods may perform poorly when deployed to a new site. However, a reliable model for real-world applications should be able to generalize well both on in-distribution (IND) and out-of-distribution (OOD) data (e.g., the new site data). In this study, we present a novel normalization technique called window normalization (WIN), which is a simple yet effective alternative to existing normalization methods. Specifically, WIN perturbs the normalizing statistics with the local statistics computed on a window of features. This feature-level augmentation technique regularizes the models well and improves their OOD generalization significantly. Taking its advantage, we propose a novel self-distillation method called WIN-WIN to further improve the OOD generalization in classification. WIN-WIN is easily implemented with twice forward passes and a consistency constraint, which can be a simple extension for existing methods. Extensive experimental results on various tasks (such as glaucoma detection, breast cancer detection, chromosome classification, optic disc and cup segmentation, etc.) and datasets (26 datasets) demonstrate the generality and effectiveness of our methods. The code is available at https://github.com/joe1chief/windowNormalizaion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google