Multi-Level Global Context Cross Consistency Model for Semi-Supervised Ultrasound Image Segmentation with Diffusion Model

要約

医用画像のセグメンテーションはコンピュータ支援診断における重要なステップであり、畳み込みニューラル ネットワークは現在人気のセグメンテーション ネットワークです。
しかし、固有の局所的な操作特性により、位置、形状、サイズが異なる病変の全体的なコンテキスト情報に焦点を当てることが困難になります。
半教師あり学習を使用すると、ラベル付きサンプルとラベルなしサンプルの両方から学習でき、手動ラベル付けの負担が軽減されます。
ただし、医療シナリオでラベルのない画像を大量に取得することは依然として困難です。
これらの問題に対処するために、潜在拡散モデル (LDM) によって生成された画像を半教師あり学習用のラベルなし画像として使用する、マルチレベル グローバル コンテキスト相互整合性 (MGCC) フレームワークを提案します。
このフレームワークには 2 つの段階が含まれます。
第 1 段階では、LDM を使用して合成医用画像を生成します。これにより、データ アノテーションの作業負荷が軽減され、医療データの収集に伴うプライバシーの問題が解決されます。
第 2 段階では、さまざまなレベルのグローバル コンテキスト ノイズ摂動が補助デコーダの入力に追加され、デコーダ間で出力の一貫性が維持されて表現能力が向上します。
オープンソースの乳房超音波データセットとプライベート甲状腺超音波データセットに対して行われた実験は、確率分布と医用画像の意味表現の橋渡しにおけるフレームワークの有効性を実証しています。
私たちのアプローチにより、確率分布の知識をセグメンテーション ネットワークに効果的に転送できるようになり、セグメンテーションの精度が向上します。
コードは https://github.com/FengheTan9/Multi-Level-Global-Context-Cross-Consistency で入手できます。

要約(オリジナル)

Medical image segmentation is a critical step in computer-aided diagnosis, and convolutional neural networks are popular segmentation networks nowadays. However, the inherent local operation characteristics make it difficult to focus on the global contextual information of lesions with different positions, shapes, and sizes. Semi-supervised learning can be used to learn from both labeled and unlabeled samples, alleviating the burden of manual labeling. However, obtaining a large number of unlabeled images in medical scenarios remains challenging. To address these issues, we propose a Multi-level Global Context Cross-consistency (MGCC) framework that uses images generated by a Latent Diffusion Model (LDM) as unlabeled images for semi-supervised learning. The framework involves of two stages. In the first stage, a LDM is used to generate synthetic medical images, which reduces the workload of data annotation and addresses privacy concerns associated with collecting medical data. In the second stage, varying levels of global context noise perturbation are added to the input of the auxiliary decoder, and output consistency is maintained between decoders to improve the representation ability. Experiments conducted on open-source breast ultrasound and private thyroid ultrasound datasets demonstrate the effectiveness of our framework in bridging the probability distribution and the semantic representation of the medical image. Our approach enables the effective transfer of probability distribution knowledge to the segmentation network, resulting in improved segmentation accuracy. The code is available at https://github.com/FengheTan9/Multi-Level-Global-Context-Cross-Consistency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google