HisynSeg: Weakly-Supervised Histopathological Image Segmentation via Image-Mixing Synthesis and Consistency Regularization

要約

組織のセマンティック セグメンテーションは、計算病理学における重要なタスクの 1 つです。
高価で手間のかかるピクセルレベルのアノテーションの取得を回避するために、さまざまな研究が弱教師あり学習スキームであるクラスアクティベーションマップ（CAM）を採用してピクセルレベルの組織セグメンテーションを実現しようとしています。
ただし、CAM ベースの方法では、アクティベーション不足およびアクティベーション過剰の問題が発生する傾向があり、セグメンテーションのパフォーマンスが低下します。
この問題に対処するために、我々は、HisynSeg と呼ばれる、画像混合合成と一貫性正則化に基づいた病理組織画像用の新しい弱教師セマンティック セグメンテーション フレームワークを提案します。
具体的には、ピクセルレベルのマスクを使用した合成病理組織画像が完全教師ありモデルトレーニング用に生成され、モザイク変換とベジエマスク生成に基づいた 2 つの合成戦略が提案されます。
さらに、合成画像の信頼性を保証する画像フィルタリング モジュールが開発されています。
時折生じる合成アーティファクトに対するモデルの過剰適合をさらに回避するために、セグメンテーション マスクのない実際の画像がセグメンテーション モデルのトレーニングを監視できるようにする、新しい自己監視型一貫性正則化をさらに提案します。
提案された技術を統合することにより、HisynSeg フレームワークは、弱く監視されたセマンティック セグメンテーション問題を完全に監視されたセマンティック セグメンテーション問題に変換し、セグメンテーションの精度を大幅に向上させることに成功しました。
3 つのデータセットに関する実験結果は、提案された方法が最先端のパフォーマンスを達成することを証明しています。
コードは https://github.com/Vison307/HisynSeg で入手できます。

要約(オリジナル)

Tissue semantic segmentation is one of the key tasks in computational pathology. To avoid the expensive and laborious acquisition of pixel-level annotations, a wide range of studies attempt to adopt the class activation map (CAM), a weakly-supervised learning scheme, to achieve pixel-level tissue segmentation. However, CAM-based methods are prone to suffer from under-activation and over-activation issues, leading to poor segmentation performance. To address this problem, we propose a novel weakly-supervised semantic segmentation framework for histopathological images based on image-mixing synthesis and consistency regularization, dubbed HisynSeg. Specifically, synthesized histopathological images with pixel-level masks are generated for fully-supervised model training, where two synthesis strategies are proposed based on Mosaic transformation and B\’ezier mask generation. Besides, an image filtering module is developed to guarantee the authenticity of the synthesized images. In order to further avoid the model overfitting to the occasional synthesis artifacts, we additionally propose a novel self-supervised consistency regularization, which enables the real images without segmentation masks to supervise the training of the segmentation model. By integrating the proposed techniques, the HisynSeg framework successfully transforms the weakly-supervised semantic segmentation problem into a fully-supervised one, greatly improving the segmentation accuracy. Experimental results on three datasets prove that the proposed method achieves a state-of-the-art performance. Code is available at https://github.com/Vison307/HisynSeg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google