Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation

要約

対照学習は、医用画像セグメンテーションの文脈におけるアノテーションの希少性問題に対して大きな可能性を示している。既存のアプローチは通常、ラベル付けされた医用画像とラベル付けされていない医用画像の両方について、バランスのとれたクラス分布を仮定している。しかし、現実の医用画像データは一般的にアンバランスであり（すなわち、マルチクラスラベルインバランス）、当然輪郭が不鮮明となり、通常、希少なオブジェクトを誤ってラベル付けしてしまう。さらに、すべての陰性サンプルが等しく陰性であるかどうかは依然として不明である。本研究では、半教師付き医用画像セグメンテーションのためのACTION（Anatomical-aware ConTrastive dIstillatiON framework）を発表する。具体的には、まず、ポジティブとネガティブのペアを2値監視するのではなく、ネガティブをソフトにラベリングすることにより、反復的な対比的蒸留アルゴリズムを開発する。また、サンプリングされたデータの多様性を確保するために、ランダムに選択されたネガティブ集合から、ポジティブ集合と比較して、より意味的に類似した特徴を捕捉する。第二に、我々はより重要な問題を提起する。アンバランスなサンプルを扱うことで、より良い性能を得ることができるのだろうか？そこで、ACTIONでは、データセット全体にわたる大域的な意味関係と、隣接する画素間の局所的な解剖学的特徴を最小限のメモリフットプリントで学習することを主要な革新的技術としている。学習中、我々はハードネガティブピクセルの疎なセットをアクティブにサンプリングすることにより解剖学的コントラストを導入し、より滑らかなセグメンテーション境界とより正確な予測を生成することができる。2つのベンチマークデータセットと異なるラベルなし設定での広範な実験により、ACTIONは現在の最新鋭の教師あり・半教師あり手法と同等かそれ以上の性能を発揮することが示されました。我々のコードとモデルは一般に公開される予定である。

要約(オリジナル)

Contrastive learning has shown great promise over annotation scarcity problems in the context of medical image segmentation. Existing approaches typically assume a balanced class distribution for both labeled and unlabeled medical images. However, medical image data in reality is commonly imbalanced (i.e., multi-class label imbalance), which naturally yields blurry contours and usually incorrectly labels rare objects. Moreover, it remains unclear whether all negative samples are equally negative. In this work, we present ACTION, an Anatomical-aware ConTrastive dIstillatiON framework, for semi-supervised medical image segmentation. Specifically, we first develop an iterative contrastive distillation algorithm by softly labeling the negatives rather than binary supervision between positive and negative pairs. We also capture more semantically similar features from the randomly chosen negative set compared to the positives to enforce the diversity of the sampled data. Second, we raise a more important question: Can we really handle imbalanced samples to yield better performance? Hence, the key innovation in ACTION is to learn global semantic relationship across the entire dataset and local anatomical features among the neighbouring pixels with minimal additional memory footprint. During the training, we introduce anatomical contrast by actively sampling a sparse set of hard negative pixels, which can generate smoother segmentation boundaries and more accurate predictions. Extensive experiments across two benchmark datasets and different unlabeled settings show that ACTION performs comparable or better than the current state-of-the-art supervised and semi-supervised methods. Our code and models will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL