Generalizing Supervised Deep Learning MRI Reconstruction to Multiple and Unseen Contrasts using Meta-Learning Hypernetworks

要約

メタラーニングは、さまざまな医用画像処理のための新たなデータ効率の高い学習手法として近年注目されており、現代の深層学習モデルの進歩に貢献しています。
さらに、メタ学習は、イメージング タスクのさまざまな構成の共有重みと識別重みの両方を学習することにより、イメージング タスクの知識の一般化を強化します。
ただし、既存のメタ学習モデルは、ニューラル ネットワークの重み初期化の単一セットを学習しようとするため、マルチモーダル データには制限がかかる可能性があります。
この研究は、画像再構成のためのマルチモーダル メタ学習モデルを開発することを目的としています。これは、マルチモーダル データの多様な取得設定を包含する進化的な機能でメタ学習を強化します。
KM-MAML (Kernel Modulation-based Multimodal Meta-Learning) と呼ばれる私たちが提案するモデルには、モード固有の重みを生成するように進化するハイパーネットワークがあります。
これらの重みは、低ランクのカーネル変調操作を介して画像再構成用のベース ネットワークの各カーネルを再校正することにより、複数のモードにモード固有の誘導バイアスを提供します。
コンテキスト空間に勾配ベースのメタ学習 (GBML) を組み込んで、さまざまなモードのハイパーネットワークの重みを更新します。
GBML 設定のハイパーネットワークと再構成ネットワークは、それぞれ、識別モード固有の機能と低レベルの画像機能を提供します。
マルチコントラスト MRI 再構成に関する実験では、私たちのモデルが、(i) 共同トレーニング、他のメタ学習方法、およびコンテキスト固有の MRI 再構成方法よりも優れた再構成パフォーマンスを示し、(ii) 改善マージンが 0.5 dB の優れた適応能力を示していることが示されています。
PSNRでは0.01、SSIMでは0.01。
さらに、U-Net による表現分析では、カーネル変調が高解像度レイヤーのモード固有の表現変更の 80% に影響を与えていることが示されています。
私たちのソースコードは https://github.com/sriprabhar/KM-MAML/ で入手できます。

要約(オリジナル)

Meta-learning has recently been an emerging data-efficient learning technique for various medical imaging operations and has helped advance contemporary deep learning models. Furthermore, meta-learning enhances the knowledge generalization of the imaging tasks by learning both shared and discriminative weights for various configurations of imaging tasks. However, existing meta-learning models attempt to learn a single set of weight initializations of a neural network that might be restrictive for multimodal data. This work aims to develop a multimodal meta-learning model for image reconstruction, which augments meta-learning with evolutionary capabilities to encompass diverse acquisition settings of multimodal data. Our proposed model called KM-MAML (Kernel Modulation-based Multimodal Meta-Learning), has hypernetworks that evolve to generate mode-specific weights. These weights provide the mode-specific inductive bias for multiple modes by re-calibrating each kernel of the base network for image reconstruction via a low-rank kernel modulation operation. We incorporate gradient-based meta-learning (GBML) in the contextual space to update the weights of the hypernetworks for different modes. The hypernetworks and the reconstruction network in the GBML setting provide discriminative mode-specific features and low-level image features, respectively. Experiments on multi-contrast MRI reconstruction show that our model, (i) exhibits superior reconstruction performance over joint training, other meta-learning methods, and context-specific MRI reconstruction methods, and (ii) better adaptation capabilities with improvement margins of 0.5 dB in PSNR and 0.01 in SSIM. Besides, a representation analysis with U-Net shows that kernel modulation infuses 80% of mode-specific representation changes in the high-resolution layers. Our source code is available at https://github.com/sriprabhar/KM-MAML/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google