SSS: Semi-Supervised SAM-2 with Efficient Prompting for Medical Imaging Segmentation

要約

情報爆発の時代において、高品質のピクセルレベルの注釈への依存を最小限に抑えながら、大規模な非標識データを効率的に活用して、医療イメージングの分野における重要な課題のままです。
半教師の学習（SSL）は、知識移転を促進し、完全に監視されたモデルのパフォーマンスを大幅に改善し、医療画像分析における非常に有望な研究方向として出現することにより、非標識データの利用を強化します。
Vision Foundationモデル（SAM-2など）が豊富な事前知識を提供する能力に触発され、SSS（Semi-Supervised SAM-2）を提案します。SSSは、SAM-2の堅牢な特徴抽出機能を活用して、無効な医療画像の潜在的な知識を明らかにし、完全に監督された医療画像セグメンテーションの特徴サポートを効果的に強化します。
具体的には、シングルストリームの「弱い」一貫性の正規化フレームワークに基づいて、このペーパーでは、複数のビューでさまざまなデータ増強戦略によって導入された特徴の不一致をさらに調査するために、識別機能強化（DFE）メカニズムを紹介します。
マルチスケールの増強技術全体で機能を活用することにより、この方法は機能を再構築およびモデル化し、それにより顕著な領域を効果的に最適化します。
さらに、物理的な制約をスライドウィンドウ（PCSW）メカニズムと統合して、非標識データの入力プロンプトを生成し、追加のプロンプトのSAM-2の要件を満たすプロンプトジェネレーターが開発されました。
広範な実験は、2つのマルチラベルデータセット、すなわちACDCとBHSDでの半監視された医療画像セグメンテーションに対する提案された方法の優位性を示しています。
特に、SSSはBHSDで53.15の平​​均サイコロスコアを達成し、以前の最先端の方法を+3.65のサイコロで上回ります。
コードはhttps://github.com/aigeeksgroup/sssで入手できます。

要約(オリジナル)

In the era of information explosion, efficiently leveraging large-scale unlabeled data while minimizing the reliance on high-quality pixel-level annotations remains a critical challenge in the field of medical imaging. Semi-supervised learning (SSL) enhances the utilization of unlabeled data by facilitating knowledge transfer, significantly improving the performance of fully supervised models and emerging as a highly promising research direction in medical image analysis. Inspired by the ability of Vision Foundation Models (e.g., SAM-2) to provide rich prior knowledge, we propose SSS (Semi-Supervised SAM-2), a novel approach that leverages SAM-2’s robust feature extraction capabilities to uncover latent knowledge in unlabeled medical images, thus effectively enhancing feature support for fully supervised medical image segmentation. Specifically, building upon the single-stream ‘weak-to-strong’ consistency regularization framework, this paper introduces a Discriminative Feature Enhancement (DFE) mechanism to further explore the feature discrepancies introduced by various data augmentation strategies across multiple views. By leveraging feature similarity and dissimilarity across multi-scale augmentation techniques, the method reconstructs and models the features, thereby effectively optimizing the salient regions. Furthermore, a prompt generator is developed that integrates Physical Constraints with a Sliding Window (PCSW) mechanism to generate input prompts for unlabeled data, fulfilling SAM-2’s requirement for additional prompts. Extensive experiments demonstrate the superiority of the proposed method for semi-supervised medical image segmentation on two multi-label datasets, i.e., ACDC and BHSD. Notably, SSS achieves an average Dice score of 53.15 on BHSD, surpassing the previous state-of-the-art method by +3.65 Dice. Code will be available at https://github.com/AIGeeksGroup/SSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google