CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation

要約

マルチシーケンス磁気共鳴画像法 (MRI) は、現代の臨床研究と深層学習研究の両方で幅広い応用が見出されています。
ただし、臨床現場では、画像取得プロトコルの違いや患者の造影剤の禁忌により、1 つ以上の MRI シーケンスが欠落することが頻繁に発生し、マルチシーケンス データでトレーニングされた深層学習モデルの利用が制限されます。
有望なアプローチの 1 つは、生成モデルを利用して欠落しているシーケンスを合成し、代理取得として機能することです。
この問題に取り組む最先端の方法は、畳み込みニューラル ネットワーク (CNN) に基づいていますが、通常、スペクトル バイアスが発生し、高周波の微細なディテールの再構築が不十分になります。
この論文では、ボクセル座標を入力として受け取り、マルチシーケンス MRI 変換のターゲット画像の表現を学習するモデルである、シフト変調による条件付きニューラル フィールド (CoNeS) を提案します。
提案されたモデルは、ピクセル間のマッピングのデコーダーとして CNN の代わりに多層パーセプトロン (MLP) を使用します。
したがって、各ターゲット画像は、学習された潜在コードを使用したシフト変調を介してソース画像に条件付けされた神経フィールドとして表されます。
BraTS 2018 と前庭神経鞘腫患者の社内臨床データセットに関する実験では、提案された方法がマルチシーケンス MRI 変換の最先端の方法よりも視覚的にも定量的にも優れていることが示されました。
さらに、スペクトル解析を実施したところ、CoNeS が従来の CNN モデルに共通するスペクトル バイアスの問題を克服できることが示されました。
臨床の下流タスクにおける合成画像の使用をさらに評価するために、推論時に合成画像を使用してセグメンテーション ネットワークをテストしました。

要約(オリジナル)

Multi-sequence magnetic resonance imaging (MRI) has found wide applications in both modern clinical studies and deep learning research. However, in clinical practice, it frequently occurs that one or more of the MRI sequences are missing due to different image acquisition protocols or contrast agent contraindications of patients, limiting the utilization of deep learning models trained on multi-sequence data. One promising approach is to leverage generative models to synthesize the missing sequences, which can serve as a surrogate acquisition. State-of-the-art methods tackling this problem are based on convolutional neural networks (CNN) which usually suffer from spectral biases, resulting in poor reconstruction of high-frequency fine details. In this paper, we propose Conditional Neural fields with Shift modulation (CoNeS), a model that takes voxel coordinates as input and learns a representation of the target images for multi-sequence MRI translation. The proposed model uses a multi-layer perceptron (MLP) instead of a CNN as the decoder for pixel-to-pixel mapping. Hence, each target image is represented as a neural field that is conditioned on the source image via shift modulation with a learned latent code. Experiments on BraTS 2018 and an in-house clinical dataset of vestibular schwannoma patients showed that the proposed method outperformed state-of-the-art methods for multi-sequence MRI translation both visually and quantitatively. Moreover, we conducted spectral analysis, showing that CoNeS was able to overcome the spectral bias issue common in conventional CNN models. To further evaluate the usage of synthesized images in clinical downstream tasks, we tested a segmentation network using the synthesized images at inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google