Medical Semantic Segmentation with Diffusion Pretrain

要約

深い学習の最近の進歩により、学習堅牢な機能表現は、医療画像セグメンテーションを含む多くのコンピュータービジョンタスクの成功に重要であることが示されています。
特に、変圧器と畳み込みベースのアーキテクチャの両方が、事前トレーニングの口実タスクを活用することから利益を得ています。
ただし、3D医療イメージングにおける口実タスクの採用はあまり調査されておらず、特に一般化可能な機能表現を学習するというコンテキストでは、課題のままです。
3D医療画像データの複雑さに合わせた解剖学的ガイダンスを備えた拡散モデルを使用した新しい事前トレーニング戦略を提案します。
さまざまな下流のセグメンテーションタスクに役立つ一般化可能な特徴表現を生成するモデルを取得するために、補助拡散プロセスを導入します。
3Dユニバーサルボディパート座標を予測する追加のモデルを採用し、拡散プロセス中にガイダンスを提供し、生成された表現の空間認識を改善します。
このアプローチは、ローカリゼーションの不正確さを解決するのに役立つだけでなく、複雑な解剖学的構造を理解するモデルの能力を豊かにします。
13クラスの臓器セグメンテーションタスクに関する経験的検証は、当社の事前削除技術の有効性を示しています。
3D医療画像セグメンテーションの既存の修復前の事前削除方法を$ 7.5 \％$で超えており、最先端の対照的な事前削除アプローチと競争し、非線形評価シナリオで平均サイコロ係数が67.8の67.8を達成しています。

要約(オリジナル)

Recent advances in deep learning have shown that learning robust feature representations is critical for the success of many computer vision tasks, including medical image segmentation. In particular, both transformer and convolutional-based architectures have benefit from leveraging pretext tasks for pretraining. However, the adoption of pretext tasks in 3D medical imaging has been less explored and remains a challenge, especially in the context of learning generalizable feature representations. We propose a novel pretraining strategy using diffusion models with anatomical guidance, tailored to the intricacies of 3D medical image data. We introduce an auxiliary diffusion process to pretrain a model that produce generalizable feature representations, useful for a variety of downstream segmentation tasks. We employ an additional model that predicts 3D universal body-part coordinates, providing guidance during the diffusion process and improving spatial awareness in generated representations. This approach not only aids in resolving localization inaccuracies but also enriches the model’s ability to understand complex anatomical structures. Empirical validation on a 13-class organ segmentation task demonstrate the effectiveness of our pretraining technique. It surpasses existing restorative pretraining methods in 3D medical image segmentation by $7.5\%$, and is competitive with the state-of-the-art contrastive pretraining approach, achieving an average Dice coefficient of 67.8 in a non-linear evaluation scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google