Meta-hallucinator: Towards Few-Shot Cross-Modality Cardiac Image Segmentation

要約

タイトル：Few-Shotクロスモダリティ心臓画像セグメンテーションへのMeta-hallucinatorの取り組み

要約：

– ドメインシフトとラベル不足は、さまざまな医療画像解析タスクにおける深層学習の応用を大きく制限している。
– 近年、無ラベルのターゲットドメインに対して、ラベルが豊富なソースドメインから知識を移転することで、有望なクロスモダリティ医療画像セグメンテーションを達成する無監視ドメイン適応技術がある。
– しかし、多くの臨床応用では、ソースドメインから注釈を収集することは困難であり、最初の作業のほとんどは、ラベル不足のソースドメインに対して最適化されていない。
– 特に、アクセス可能なソースラベルがわずかなfew-shotシナリオでは、効率的なクロスモダリティセグメンテーションを達成することは困難である。
– 効率的なfew-shotクロスモダリティセグメンテーションを達成するために、データ分布を多様化し、クロスモダリティパフォーマンスを向上させるための有用な例を生成することを目的とした、新しい変換一貫性のあるMeta-hallucinationフレームワーク、meta-hallucinatorを提案する。
– ハロシネーションモデルとセグメンテーションモデルを、勾配ベースのメタ学習戦略で一緒にトレーニングして、ターゲットドメインにおいてセグメンテーションパフォーマンスが良好な例を生成することができる。
– データのハロシネーションとクロスドメインの知識転移を促進するために、ハロシネーション一貫性のあるセルフアンサンブリングモデルを開発した。
– 私たちのmeta-hallucinatorは、メタ学習とセルフアンサンブリング学習の組み合わせ視点からハロシネーションの学習をするメタセグメンターとシームレスに協力することができる。
– MM-WHS 2017データセット上のクロスモダリティ心臓セグメンテーションに関する広範な研究により、私たちの手法は、数多くのアプローチに比べてfew-shot UDAシナリオで優れたパフォーマンスを発揮することが示された。

要約(オリジナル)

Domain shift and label scarcity heavily limit deep learning applications to various medical image analysis tasks. Unsupervised domain adaptation (UDA) techniques have recently achieved promising cross-modality medical image segmentation by transferring knowledge from a label-rich source domain to an unlabeled target domain. However, it is also difficult to collect annotations from the source domain in many clinical applications, rendering most prior works suboptimal with the label-scarce source domain, particularly for few-shot scenarios, where only a few source labels are accessible. To achieve efficient few-shot cross-modality segmentation, we propose a novel transformation-consistent meta-hallucination framework, meta-hallucinator, with the goal of learning to diversify data distributions and generate useful examples for enhancing cross-modality performance. In our framework, hallucination and segmentation models are jointly trained with the gradient-based meta-learning strategy to synthesize examples that lead to good segmentation performance on the target domain. To further facilitate data hallucination and cross-domain knowledge transfer, we develop a self-ensembling model with a hallucination-consistent property. Our meta-hallucinator can seamlessly collaborate with the meta-segmenter for learning to hallucinate with mutual benefits from a combined view of meta-learning and self-ensembling learning. Extensive studies on MM-WHS 2017 dataset for cross-modality cardiac segmentation demonstrate that our method performs favorably against various approaches by a lot in the few-shot UDA scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI