CodeBrain: Impute Any Brain MRI via Instance-specific Scalar-quantized Codes

要約

MRI代入は、1つ以上の利用可能なモダリティから欠落しているモダリティを合成することを目的としています。これは、スキャンコストを削減し、臨床診断を強化するために包括的なMRI情報を提供するため、非常に望ましいものです。
この論文では、さまざまな脳MRI代入シナリオに適応するように設計された統一モデルであるCodebrainを提案します。
コアデザインは、フルモダリティコード予測タスクとして、さまざまなモダリティ間変換をキャストすることにあります。
この目的のために、CodeBrainは再構築とコード予測の2つの段階でトレーニングされています。
まず、再構成段階で、各MRIモダリティを再構築します。これは、共有潜在スペースにマッピングされ、その後スカラー量子化が続きます。
このような量子化は損失であり、コードは低次元であるため、同じ主題に属する別のMRIモダリティがランダムに選択され、コードを補完し、ターゲットの再構成を強化するための共通機能を生成します。
第2段階では、カスタマイズされたグレーディング損失によって別のエンコーダーをトレーニングして、第1段階から生成された対応する量子化コードによって監督されたランダムにマスクされたMRIサンプルからフルモダリティコードを予測します。
このようにして、インスタンス固有のコードを有限スカラー空間にマッピングすることにより、モダリティ間変換が実現されます。
2つのパブリックブレインMRIデータセット（つまり、IXIおよびBRATS 2023）で提案されたコードブレインモデルを評価しました。
広範な実験は、コード脳モデルが既存の4つの方法と比較して優れた代入パフォーマンスを達成し、統一された脳MRIの抑制の新しい最新技術を確立することを示しています。
コードがリリースされます。

要約(オリジナル)

MRI imputation aims to synthesize the missing modality from one or more available ones, which is highly desirable since it reduces scanning costs and delivers comprehensive MRI information to enhance clinical diagnosis. In this paper, we propose a unified model, CodeBrain, designed to adapt to various brain MRI imputation scenarios. The core design lies in casting various inter-modality transformations as a full-modality code prediction task. To this end, CodeBrain is trained in two stages: Reconstruction and Code Prediction. First, in the Reconstruction stage, we reconstruct each MRI modality, which is mapped into a shared latent space followed by a scalar quantization. Since such quantization is lossy and the code is low dimensional, another MRI modality belonging to the same subject is randomly selected to generate common features to supplement the code and boost the target reconstruction. In the second stage, we train another encoder by a customized grading loss to predict the full-modality codes from randomly masked MRI samples, supervised by the corresponding quantized codes generated from the first stage. In this way, the inter-modality transformation is achieved by mapping the instance-specific codes in a finite scalar space. We evaluated the proposed CodeBrain model on two public brain MRI datasets (i.e., IXI and BraTS 2023). Extensive experiments demonstrate that our CodeBrain model achieves superior imputation performance compared to four existing methods, establishing a new state of the art for unified brain MRI imputation. Codes will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google