Fourier Disentangled Multimodal Prior Knowledge Fusion for Red Nucleus Segmentation in Brain MRI

要約

パーキンソン症候群の早期かつ正確な診断は、患者に適切なケアを提供し、治療試験に含めるために重要です。
赤核は、これらの障害で重要な役割を果たす中脳の構造です。
これは、鉄に敏感な磁気共鳴画像 (MRI) シーケンスを使用して視覚化できます。
MRI では、さまざまな鉄感受性コントラストを生成できます。
このようなマルチモーダル データを組み合わせることで、赤核のセグメンテーションを改善できる可能性があります。
現在のマルチモーダル セグメンテーション アルゴリズムは計算量が多く、欠落しているモダリティを処理できず、すべてのモダリティに注釈が必要です。
この論文では、赤核セグメンテーションのさまざまな対比からの事前知識を統合する新しいモデルを提案します。
この方法は、主に 3 つの段階で構成されています。
まず、画像を脳構造を表す高レベル情報とコントラストを表す低周波情報に分解します。
次に、高周波情報がネットワークに供給されて解剖学的特徴が学習され、マルチモーダルな低周波情報のリストが別のモジュールによって処理されます。
最後に、機能融合を実行してセグメンテーション タスクを完了します。
提案された方法は、いくつかの鉄に敏感なコントラスト (iMag、QSM、R2 *、SWI) で使用されました。
実験は、トレーニング セットのサイズが非常に小さい場合、提案されたモデルがベースラインの UNet モデルよりも大幅に優れていることを示しています。

要約(オリジナル)

Early and accurate diagnosis of parkinsonian syndromes is critical to provide appropriate care to patients and for inclusion in therapeutic trials. The red nucleus is a structure of the midbrain that plays an important role in these disorders. It can be visualized using iron-sensitive magnetic resonance imaging (MRI) sequences. Different iron-sensitive contrasts can be produced with MRI. Combining such multimodal data has the potential to improve segmentation of the red nucleus. Current multimodal segmentation algorithms are computationally consuming, cannot deal with missing modalities and need annotations for all modalities. In this paper, we propose a new model that integrates prior knowledge from different contrasts for red nucleus segmentation. The method consists of three main stages. First, it disentangles the image into high-level information representing the brain structure, and low-frequency information representing the contrast. The high-frequency information is then fed into a network to learn anatomical features, while the list of multimodal low-frequency information is processed by another module. Finally, feature fusion is performed to complete the segmentation task. The proposed method was used with several iron-sensitive contrasts (iMag, QSM, R2*, SWI). Experiments demonstrate that our proposed model substantially outperforms a baseline UNet model when the training set size is very small.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google