Exposing and addressing the fragility of neural networks in digital pathology

要約

ニューラルネットワークは、多くの医用画像処理タスクで印象的な結果を達成しましたが、さまざまな医療センターや患者コホートから発信された配布外のデータセットでは、パフォーマンスが大幅に低下することがよくあります。
根本的な問題を一般化して対処する能力の欠如を評価することは、臨床診療を目的としたニューラルネットワークを開発する際の2つの主要な課題です。
この研究では、多数の分布シフトデータセットを生成することにより、ニューラルネットワークモデルの一般化能力を評価するための新しい方法を開発します。これを使用して、臨床診療で遭遇する変動に対するロバスト性を徹底的に調査できます。
外部検証と比較して、\ textit {shifted Evaluation}は、特定のデータセットでニューラルネットワークが失敗する理由を説明できるため、モデルの堅牢性を向上させる方法についてのガイダンスを提供します。
シフト評価により、最先端の方法でトレーニングされたニューラルネットワークは、トレーニングデータからのわずかな分布シフトに対しても非常に脆弱であり、場合によってはすべての識別能力を失うことを示します。
この脆弱性に対処するために、分散シフトに対するニューラルネットワークの堅牢性を高めるように明示的に設計された拡張戦略を開発します。
\ texttt {StrongAugment}は、2つの組織タイプからの5つのトレーニングデータセット、274の分布シフトデータセット、および4か国からの20の外部データセットを含む、大規模で異種の組織病理学データで評価されます。
\ texttt {StrongAugment}でトレーニングされたニューラルネットワークは、現在の最先端の方法でトレーニングされたネットワークがすべての識別能力を失う分布シフトがあっても、すべてのデータセットで同様のパフォーマンスを維持します。
強力な増強とシフト評価を使用して、臨床診療を目的としたすべての神経ネットワークをトレーニングおよび評価することをお勧めします。

要約(オリジナル)

Neural networks have achieved impressive results in many medical imaging tasks but often perform substantially worse on out-of-distribution datasets originating from different medical centres or patient cohorts. Evaluating this lack of ability to generalise and address the underlying problem are the two main challenges in developing neural networks intended for clinical practice. In this study, we develop a new method for evaluating neural network models’ ability to generalise by generating a large number of distribution-shifted datasets, which can be used to thoroughly investigate their robustness to variability encountered in clinical practice. Compared to external validation, \textit{shifted evaluation} can provide explanations for why neural networks fail on a given dataset, thus offering guidance on how to improve model robustness. With shifted evaluation, we demonstrate that neural networks, trained with state-of-the-art methods, are highly fragile to even small distribution shifts from training data, and in some cases lose all discrimination ability. To address this fragility, we develop an augmentation strategy, explicitly designed to increase neural networks’ robustness to distribution shifts. \texttt{StrongAugment} is evaluated with large-scale, heterogeneous histopathology data including five training datasets from two tissue types, 274 distribution-shifted datasets and 20 external datasets from four countries. Neural networks trained with \texttt{StrongAugment} retain similar performance on all datasets, even with distribution shifts where networks trained with current state-of-the-art methods lose all discrimination ability. We recommend using strong augmentation and shifted evaluation to train and evaluate all neural networks intended for clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google