Label-noise-tolerant medical image classification via self-attention and self-supervised learning

要約

ディープ ニューラル ネットワーク (DNN) は医療画像の分類に広く適用されており、優れた分類パフォーマンスを実現しています。
これらの成果は、正確に注釈が付けられた大規模なトレーニング データに大きく依存しています。
ただし、ラベル付けプロセスはアノテーターの専門知識と経験に大きく依存するため、医療画像のアノテーションにはラベル ノイズが必然的に発生します。
一方、DNN はノイズの多いラベルの過剰適合に悩まされ、モデルのパフォーマンスが低下します。
したがって、この研究では、医療画像分類におけるノイズの多いラベルの悪影響を軽減するために、ノイズに強いトレーニング アプローチを革新的に考案しました。
具体的には、対照学習とグループ内注意混合戦略をバニラの教師あり学習に組み込みます。
特徴抽出器の対照学習は、DNN の視覚的表現を強化するのに役立ちます。
グループ内アテンション ミックスアップ モジュールは、グループを構築し、グループごとのサンプルにセルフ アテンションの重みを割り当て、その後、重み付きミックスアップ操作を通じて大量のノイズが抑制されたサンプルを補間します。
私たちは、さまざまなノイズ レベルの下で、合成医療データセットと現実世界のノイズの多い医療データセットの両方で比較実験を実施します。
厳密な実験により、対照学習と注意の取り違えを備えたノイズに強い手法がラベル ノイズを効果的に処理でき、最先端の手法よりも優れていることが検証されました。
アブレーション研究では、両方のコンポーネントがモデルのパフォーマンス向上に貢献していることも示しています。
提案された方法は、ラベル ノイズを抑制する機能を実証しており、実際の臨床応用に向けた一定の可能性を秘めています。

要約(オリジナル)

Deep neural networks (DNNs) have been widely applied in medical image classification and achieve remarkable classification performance. These achievements heavily depend on large-scale accurately annotated training data. However, label noise is inevitably introduced in the medical image annotation, as the labeling process heavily relies on the expertise and experience of annotators. Meanwhile, DNNs suffer from overfitting noisy labels, degrading the performance of models. Therefore, in this work, we innovatively devise noise-robust training approach to mitigate the adverse effects of noisy labels in medical image classification. Specifically, we incorporate contrastive learning and intra-group attention mixup strategies into the vanilla supervised learning. The contrastive learning for feature extractor helps to enhance visual representation of DNNs. The intra-group attention mixup module constructs groups and assigns self-attention weights for group-wise samples, and subsequently interpolates massive noisy-suppressed samples through weighted mixup operation. We conduct comparative experiments on both synthetic and real-world noisy medical datasets under various noise levels. Rigorous experiments validate that our noise-robust method with contrastive learning and attention mixup can effectively handle with label noise, and is superior to state-of-the-art methods. An ablation study also shows that both components contribute to boost model performance. The proposed method demonstrates its capability of curb label noise and has certain potential toward real-world clinic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google