Robust One-shot Segmentation of Brain Tissues via Image-aligned Style Transformation

要約

脳組織のワンショット セグメンテーションは、通常、デュアル モデル反復学習です。登録モデル (reg モデル) は、慎重にラベル付けされたアトラスをラベル付けされていない画像にワープして、セグメンテーション モデル (seg-model) をトレーニングするための疑似マスクを初期化します。
seg-model は疑似マスクを修正して reg-model を強化し、次の反復でワーピングを改善します。
ただし、そのようなデュアルモデルの反復には、reg-model によって必然的に引き起こされる空間的なミスアライメントが seg-model を誤った方向に導き、最終的に劣ったセグメンテーションパフォーマンスに収束するという重要な弱点があります。
この論文では、脳組織の堅牢なワンショットセグメンテーションのためのデュアルモデル反復学習を強化するために、新しい画像に合わせたスタイル変換を提案します。
具体的には、最初にregモデルを使用してアトラスをラベルのない画像にワープし、次に摂動を伴うフーリエベースの振幅交換を使用して、ラベルのない画像のスタイルを位置合わせされたアトラスに移植します。
これにより、後続のセグメントモデルは、ラベル付けされていない画像ではなく、位置合わせされ、スタイルが転送されたアトラスのコピーで学習できます。これにより、画像マスクトレーニングペアの正しい空間対応が自然に保証されます。
ラベルのない画像。
さらに、画像レベルの類似性に加えて、機能を意識したコンテンツの一貫性を導入して、有望な初期化のためにregモデルを制約します。これにより、最初の反復での画像に合わせたスタイル変換の崩壊が回避されます。
2 つの公開データセットでの実験結果は、1) 完全に教師ありの方法と比較して、私たちの方法の競争力のあるセグメンテーション パフォーマンス、および 2) 平均 Dice が最大 4.67% 増加し、他の最先端技術よりも優れたパフォーマンスを示しています。
.
ソース コードは、https://github.com/JinxLv/One-shot-segmentation-via-IST で入手できます。

要約(オリジナル)

One-shot segmentation of brain tissues is typically a dual-model iterative learning: a registration model (reg-model) warps a carefully-labeled atlas onto unlabeled images to initialize their pseudo masks for training a segmentation model (seg-model); the seg-model revises the pseudo masks to enhance the reg-model for a better warping in the next iteration. However, there is a key weakness in such dual-model iteration that the spatial misalignment inevitably caused by the reg-model could misguide the seg-model, which makes it converge on an inferior segmentation performance eventually. In this paper, we propose a novel image-aligned style transformation to reinforce the dual-model iterative learning for robust one-shot segmentation of brain tissues. Specifically, we first utilize the reg-model to warp the atlas onto an unlabeled image, and then employ the Fourier-based amplitude exchange with perturbation to transplant the style of the unlabeled image into the aligned atlas. This allows the subsequent seg-model to learn on the aligned and style-transferred copies of the atlas instead of unlabeled images, which naturally guarantees the correct spatial correspondence of an image-mask training pair, without sacrificing the diversity of intensity patterns carried by the unlabeled images. Furthermore, we introduce a feature-aware content consistency in addition to the image-level similarity to constrain the reg-model for a promising initialization, which avoids the collapse of image-aligned style transformation in the first iteration. Experimental results on two public datasets demonstrate 1) a competitive segmentation performance of our method compared to the fully-supervised method, and 2) a superior performance over other state-of-the-art with an increase of average Dice by up to 4.67%. The source code is available at: https://github.com/JinxLv/One-shot-segmentation-via-IST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google