Uncovering the effects of model initialization on deep model generalization: A study with adult and pediatric Chest X-ray images

要約

モデル初期化技術は、医療用コンピューター ビジョン アプリケーションにおける深層学習モデルのパフォーマンスと信頼性を向上させるために不可欠です。
非医療画像に関する文献は数多くありますが、医療画像、特に胸部 X 線 (CXR) への影響はあまり理解されていません。
このギャップに対処するために、私たちの研究では、成人と小児集団に焦点を当てて、コールド スタート、ウォーム スタート、シュリンク アンド 摂動スタートという 3 つのディープ モデル初期化手法を調査しています。
特に、トレーニング用に定期的にデータが到着するシナリオに重点を置き、それによって進行中のデータ流入とモデル更新の必要性という現実世界のシナリオを受け入れます。
これらのモデルを、外部の成人および小児 CXR データセットに対する一般化可能性について評価します。
また、新しいアンサンブル手法、つまり F スコア加重逐次最小二乗二次計画法 (F-SLSQP) と学習可能なファジー ソフトマックスを使用した注意誘導アンサンブルを提案し、複数のモデルから重みパラメーターを集約して集合的な知識と補完的な表現を活用します。
95% 信頼区間と p 値を使用して統計的有意性検定を実行し、モデルのパフォーマンスを分析します。
私たちの評価では、ImageNet で事前にトレーニングされた重みで初期化されたモデルが、ランダムに初期化されたモデルよりも優れた一般化可能性を示しており、非医療画像に関するいくつかの結果と矛盾しています。
特に、ImageNet で事前トレーニングされたモデルは、さまざまなトレーニング シナリオにわたる内部および外部テスト中に一貫したパフォーマンスを示します。
これらのモデルの体重レベルのアンサンブルは、テスト中に個々のモデルと比較して有意に高い再現率 (p<0.05) を示します。 したがって、私たちの研究は、堅牢で一般化可能な深層学習ソリューションを作成するための、特に重みレベルのアンサンブルで使用した場合の ImageNet の事前トレーニング済み重み初期化の利点を強調しています。

要約(オリジナル)

Model initialization techniques are vital for improving the performance and reliability of deep learning models in medical computer vision applications. While much literature exists on non-medical images, the impacts on medical images, particularly chest X-rays (CXRs) are less understood. Addressing this gap, our study explores three deep model initialization techniques: Cold-start, Warm-start, and Shrink and Perturb start, focusing on adult and pediatric populations. We specifically focus on scenarios with periodically arriving data for training, thereby embracing the real-world scenarios of ongoing data influx and the need for model updates. We evaluate these models for generalizability against external adult and pediatric CXR datasets. We also propose novel ensemble methods: F-score-weighted Sequential Least-Squares Quadratic Programming (F-SLSQP) and Attention-Guided Ensembles with Learnable Fuzzy Softmax to aggregate weight parameters from multiple models to capitalize on their collective knowledge and complementary representations. We perform statistical significance tests with 95% confidence intervals and p-values to analyze model performance. Our evaluations indicate models initialized with ImageNet-pre-trained weights demonstrate superior generalizability over randomly initialized counterparts, contradicting some findings for non-medical images. Notably, ImageNet-pretrained models exhibit consistent performance during internal and external testing across different training scenarios. Weight-level ensembles of these models show significantly higher recall (p<0.05) during testing compared to individual models. Thus, our study accentuates the benefits of ImageNet-pretrained weight initialization, especially when used with weight-level ensembles, for creating robust and generalizable deep learning solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google