Brain Foundation Models with Hypergraph Dynamic Adapter for Brain Disease Analysis

要約

アルツハイマー病や脳腫瘍などの脳疾患は、その複雑さと社会的影響のために深い課題をもたらします。
脳基礎モデルの最近の進歩は、脳関連のさまざまなタスクに対処することに大きな約束を示しています。
ただし、現在の脳基礎モデルは、タスクとデータの均一性、セグメンテーションまたは分類を超えた制限された一般化、および多様な臨床タスクへの非効率的な適応によって制限されています。
この作業では、14のMRIサブモダリティにわたって66,000を超える脳画像ラベルペアを訓練する脳固有の基礎モデルであるSam-Brain3Dと、効率的かつ効果的なダウンストリーム適応のための軽量アダプターであるHypergraph Dynamic Adapter（HYDA）を提案します。
SAM-BRAIN3Dは、多様な脳のターゲットとより広範な下流タスクをセグメント化するための詳細な脳固有の解剖学的およびモダリティプライアーをキャプチャします。
HYDAはハイパーグラフを活用して補完的なマルチモーダルデータを融合し、マルチスケールの特徴融合とパーソナライズされた患者ごとの適応のために患者固有の畳み込みカーネルを動的に生成します。
一緒に、私たちのフレームワークは、幅広い脳疾患のセグメンテーションと分類タスクにわたって優れています。
広範な実験は、私たちの方法が既存の最先端のアプローチを常に上回っており、マルチモーダル、マルチスケール、ダイナミックファンデーションモデリングを通じて脳疾患分析の新しいパラダイムを提供することを示しています。

要約(オリジナル)

Brain diseases, such as Alzheimer’s disease and brain tumors, present profound challenges due to their complexity and societal impact. Recent advancements in brain foundation models have shown significant promise in addressing a range of brain-related tasks. However, current brain foundation models are limited by task and data homogeneity, restricted generalization beyond segmentation or classification, and inefficient adaptation to diverse clinical tasks. In this work, we propose SAM-Brain3D, a brain-specific foundation model trained on over 66,000 brain image-label pairs across 14 MRI sub-modalities, and Hypergraph Dynamic Adapter (HyDA), a lightweight adapter for efficient and effective downstream adaptation. SAM-Brain3D captures detailed brain-specific anatomical and modality priors for segmenting diverse brain targets and broader downstream tasks. HyDA leverages hypergraphs to fuse complementary multi-modal data and dynamically generate patient-specific convolutional kernels for multi-scale feature fusion and personalized patient-wise adaptation. Together, our framework excels across a broad spectrum of brain disease segmentation and classification tasks. Extensive experiments demonstrate that our method consistently outperforms existing state-of-the-art approaches, offering a new paradigm for brain disease analysis through multi-modal, multi-scale, and dynamic foundation modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google