U$^2$MRPD: Unsupervised undersampled MRI reconstruction by prompting a large latent diffusion model

要約

自然画像で事前トレーニングされた大規模潜在拡散モデル (LLDM) の暗黙的な視覚知識は豊富であり、自然画像と医療画像に仮説上普遍的です。
この仮説を検証するために、事前に訓練された大きな潜在拡散モデル (U$^2$MRPD) をプロンプトすることによる教師なしアンダーサンプリング MRI 再構成のための新しいフレームワークを導入します。
既存のデータ駆動型の教師付きアンダーサンプリング MRI 再構成ネットワークは、通常、多様なデータ収集シナリオに対する汎用性と適応性に限界があります。
さらに、U$^2$MRPD は、複素数値の MRI 画像用に調整された MRSampler を使用して LLDM を指示することにより、画像固有の MRI 再構成をサポートします。
単一ソースまたは多様なソースの MRI データセットでは、生成画像の事前分布をそのまま維持しながら、MRAdapter によって U$^2$MRPD のパフォーマンスがさらに向上します。
複数のデータセットでの実験では、U$^2$MRPD がドメイン内データセットでは教師あり拡散法や MRI 拡散法と同等以上のパフォーマンスを達成し、ドメイン外データセットでは最良の一般化可能性を示していることが示されています。
私たちの知る限り、U$^2$MRPD は、LLDM の普遍的な能力を実証する{\bf 最初}の教師なし手法であり、医療画像処理における等級のみの自然画像でトレーニングされ、両方の MRI に対して最高の適応性を実現します。
データベースを使用しないシナリオとデータベースを使用できるシナリオ、およびドメイン外データに対する汎用性。

要約(オリジナル)

Implicit visual knowledge in a large latent diffusion model (LLDM) pre-trained on natural images is rich and hypothetically universal to natural and medical images. To test this hypothesis, we introduce a novel framework for Unsupervised Undersampled MRI Reconstruction by Prompting a pre-trained large latent Diffusion model ( U$^2$MRPD). Existing data-driven, supervised undersampled MRI reconstruction networks are typically of limited generalizability and adaptability toward diverse data acquisition scenarios; yet U$^2$MRPD supports image-specific MRI reconstruction by prompting an LLDM with an MRSampler tailored for complex-valued MRI images. With any single-source or diverse-source MRI dataset, U$^2$MRPD’s performance is further boosted by an MRAdapter while keeping the generative image priors intact. Experiments on multiple datasets show that U$^2$MRPD achieves comparable or better performance than supervised and MRI diffusion methods on in-domain datasets while demonstrating the best generalizability on out-of-domain datasets. To the best of our knowledge, U$^2$MRPD is the {\bf first} unsupervised method that demonstrates the universal prowess of a LLDM, %trained on magnitude-only natural images in medical imaging, attaining the best adaptability for both MRI database-free and database-available scenarios and generalizability towards out-of-domain data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google