Cross-modal tumor segmentation using generative blending augmentation and self training

要約

\textit{目的}: データ不足とドメインの変化により、デプロイメント条件を正確に表さない偏ったトレーニング セットが発生します。
関連する実際的な問題は、クロスモーダル画像セグメンテーションです。この目的は、他の画像モダリティからの以前にラベル付けされたデータセットを使用して、ラベルのない画像をセグメント化することです。
\textit{方法}: 我々は、Generative Blending Augmentation (GBA) と呼ばれる新しいデータ拡張技術によって強化された従来の画像合成に基づくクロスモーダル セグメンテーション方法を提案します。
GBA は SinGAN モデルを活用して、単一のトレーニング画像から代表的な生成特徴を学習し、腫瘍の外観を現実的に多様化します。
このようにして、画像合成エラーを補正し、その後、下流のセグメンテーション モデルの一般化能力を向上させます。
提案された拡張は、各パスで擬似ラベルを活用する反復的な自己トレーニング手順にさらに結合されます。
\textit{結果}: 提案されたソリューションは、MICCAI CrossMoDA 2022 チャレンジの検証およびテスト段階で、前庭神経鞘腫 (VS) セグメンテーションで最高の平均 Dice 類似性と平均対称表面距離測定で 1 位にランクされました。
\textit{結論と重要性}: 腫瘍の外観の局所的なコントラストの変更と、擬似ラベルを使用した反復的な自己トレーニングは、さまざまなセグメンテーションのコンテキストでパフォーマンスの向上につながる可能性があります。

要約(オリジナル)

\textit{Objectives}: Data scarcity and domain shifts lead to biased training sets that do not accurately represent deployment conditions. A related practical problem is cross-modal image segmentation, where the objective is to segment unlabelled images using previously labelled datasets from other imaging modalities. \textit{Methods}: We propose a cross-modal segmentation method based on conventional image synthesis boosted by a new data augmentation technique called Generative Blending Augmentation (GBA). GBA leverages a SinGAN model to learn representative generative features from a single training image to diversify realistically tumor appearances. This way, we compensate for image synthesis errors, subsequently improving the generalization power of a downstream segmentation model. The proposed augmentation is further combined to an iterative self-training procedure leveraging pseudo labels at each pass. \textit{Results}: The proposed solution ranked first for vestibular schwannoma (VS) segmentation during the validation and test phases of the MICCAI CrossMoDA 2022 challenge, with best mean Dice similarity and average symmetric surface distance measures. \textit{Conclusion and significance}: Local contrast alteration of tumor appearances and iterative self-training with pseudo labels are likely to lead to performance improvements in a variety of segmentation contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google