A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts

要約

脳病変のセグメンテーションは、神経学の研究と診断において重要な役割を果たします。
脳病変はさまざまな病理学的変化によって引き起こされる可能性があるため、異なるタイプの脳病変は、異なる画像診断法では異なる特性で現れる傾向があります。
この複雑さのため、脳病変のセグメンテーション手法はタスク固有の方法で開発されることがよくあります。
特定のセグメンテーション モデルは、特定の病変タイプと画像モダリティに合わせて開発されます。
ただし、タスク固有のモデルを使用するには、病変の種類と画像モダリティを事前に決定する必要があるため、現実のシナリオでの展開が複雑になります。
この研究では、さまざまな画像モダリティの入力データに対してさまざまなタイプの脳病変を自動的にセグメント化できる、3D 脳病変セグメンテーションのための普遍的な基礎モデルを提案します。
私たちは、さまざまな画像モダリティに対応する複数の専門家ネットワークを備えた新しいモダリティ専門家混合（MoME）フレームワークを策定します。
階層型ゲート ネットワークは専門家の予測を組み合わせ、専門家のコラボレーションを促進します。
さらに、各専門家ネットワークの退化を回避し、専門性を維持するために、研修中にカリキュラム学習戦略を導入します。
我々は、5 つの画像モダリティと 8 つの病変タイプを含む 9 つの脳病変データセットに対して提案された方法を評価しました。
結果は、私たちのモデルが最先端のユニバーサルモデルを上回っており、まだ見たことのないデータセットに対して有望な一般化を提供することを示しています。

要約(オリジナル)

Brain lesion segmentation plays an essential role in neurological research and diagnosis. As brain lesions can be caused by various pathological alterations, different types of brain lesions tend to manifest with different characteristics on different imaging modalities. Due to this complexity, brain lesion segmentation methods are often developed in a task-specific manner. A specific segmentation model is developed for a particular lesion type and imaging modality. However, the use of task-specific models requires predetermination of the lesion type and imaging modality, which complicates their deployment in real-world scenarios. In this work, we propose a universal foundation model for 3D brain lesion segmentation, which can automatically segment different types of brain lesions for input data of various imaging modalities. We formulate a novel Mixture of Modality Experts (MoME) framework with multiple expert networks attending to different imaging modalities. A hierarchical gating network combines the expert predictions and fosters expertise collaboration. Furthermore, we introduce a curriculum learning strategy during training to avoid the degeneration of each expert network and preserve their specialization. We evaluated the proposed method on nine brain lesion datasets, encompassing five imaging modalities and eight lesion types. The results show that our model outperforms state-of-the-art universal models and provides promising generalization to unseen datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google