Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Polyp Segmentation

要約

自動ポリープセグメンテーションは、結腸直腸がん (CRC) の早期診断と治療において重要な役割を果たします。
ただし、既存の手法は完全教師ありトレーニングに大きく依存しており、時間のかかるピクセルごとの注釈を含む大量のラベル付きデータが必要です。
さらに、ポリープを正確にセグメント化するには、形状、サイズ、位置が異なるため課題が生じます。
これらの問題に対処するために、我々は、結腸内視鏡検査画像からの半教師ありポリープセグメンテーション（DEC-Seg）のための新しいデュアルスケール強化および生成間一貫性学習フレームワークを提案します。
まず、クロスレベルの隣接レイヤーを統合して、さまざまな解像度にわたる特徴表現能力を強化するクロスレベル特徴集約 (CFA) モジュールを提案します。
スケールの変動に対処するために、スケール強化された一貫性制約を提示します。これにより、異なるスケールで同じ入力画像から生成されたセグメンテーション マップの一貫性が保証されます。
この制約は、ポリープ サイズの変動に対処するのに役立ち、モデルの堅牢性が向上します。
さらに、平均教師モデルの堅牢性を高めるために、スケールを意識した摂動一貫性スキームを設計します。
さらに、我々は、元の画像と摂動された画像をクロスセグメンテーションマップを使用して再構成できる、クロス生成一貫性スキームを提案します。
この一貫性の制約により、効果的な特徴表現をマイニングし、セグメンテーションのパフォーマンスを向上させることができます。
より正確なセグメンテーション マップを作成するために、異なるスケールで動作する 2 つのスケール固有のデコーダーの機能を統合するデュアルスケール相補融合 (DCF) モジュールを提案します。
5 つのベンチマーク データセットに関する広範な実験結果は、他の最先端の半教師ありセグメンテーション アプローチに対する DEC-Seg の有効性を示しています。
実装コードは https://github.com/taozh2017/DECSeg で公開されます。

要約(オリジナル)

Automatic polyp segmentation plays a crucial role in the early diagnosis and treatment of colorectal cancer (CRC). However, existing methods heavily rely on fully supervised training, which requires a large amount of labeled data with time-consuming pixel-wise annotations. Moreover, accurately segmenting polyps poses challenges due to variations in shape, size, and location. To address these issues, we propose a novel Dual-scale Enhanced and Cross-generative consistency learning framework for semi-supervised polyp Segmentation (DEC-Seg) from colonoscopy images. First, we propose a Cross-level Feature Aggregation (CFA) module that integrates cross-level adjacent layers to enhance the feature representation ability across different resolutions. To address scale variation, we present a scale-enhanced consistency constraint, which ensures consistency in the segmentation maps generated from the same input image at different scales. This constraint helps handle variations in polyp sizes and improves the robustness of the model. Additionally, we design a scale-aware perturbation consistency scheme to enhance the robustness of the mean teacher model. Furthermore, we propose a cross-generative consistency scheme, in which the original and perturbed images can be reconstructed using cross-segmentation maps. This consistency constraint allows us to mine effective feature representations and boost the segmentation performance. To produce more accurate segmentation maps, we propose a Dual-scale Complementary Fusion (DCF) module that integrates features from two scale-specific decoders operating at different scales. Extensive experimental results on five benchmark datasets demonstrate the effectiveness of our DEC-Seg against other state-of-the-art semi-supervised segmentation approaches. The implementation code will be released at https://github.com/taozh2017/DECSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google