Uni-COAL: A Unified Framework for Cross-Modality Synthesis and Super-Resolution of MR Images

要約

クロスモダリティ合成 (CMS)、超解像 (SR)、およびそれらの組み合わせ (CMSR) は、磁気共鳴画像法 (MRI) に関して広く研究されています。
彼らの主な目標は、必要なモダリティを合成し、スライス厚を減らすことによって画像品質を向上させることです。
有望な合成結果にもかかわらず、これらの技術は多くの場合、特定のタスクに合わせて調整されているため、複雑な臨床シナリオへの適応性が制限されます。
したがって、モデルのトレーニングとデプロイのためのリソースを大幅に削減できるように、モダリティと解像度設定の任意の要件を持つさまざまな画像合成タスクを処理できる統合ネットワークを構築することが重要です。
ただし、これまでの作品では、統合ネットワークを使用して CMS、SR、CMSR を実行できるものはありませんでした。
さらに、これらの MRI 再構成法ではエイリアス周波数が不適切に扱われることが多く、その結果、最適ではない詳細が復元されます。
この論文では、単一ネットワークで前述のタスクを達成するための統合相互変調エイリアスフリー フレームワーク (Uni-COAL) を提案します。
画像条件付き確率的属性表現の共変調設計により、CMS と SR の間の一貫性が確保されると同時に、入力/出力モダリティと厚さの任意の組み合わせに対応します。
Uni-COAL のジェネレーターは、シャノン・ナイキスト信号処理フレームワークに基づいてエイリアスフリーになるように設計されており、エイリアス周波数を効果的に抑制します。
さらに、セグメント エニシング モデル (SAM) のセマンティック プライアを活用して Uni-COAL をガイドし、合成中の解剖学的構造のより正確な保存を保証します。
3 つのデータセットの実験では、Uni-COAL が MR 画像の CMS、SR、CMSR タスクにおいて代替手段よりも優れていることが実証されており、これは幅広いアプリケーションへの汎用性を強調しています。

要約(オリジナル)

Cross-modality synthesis (CMS), super-resolution (SR), and their combination (CMSR) have been extensively studied for magnetic resonance imaging (MRI). Their primary goals are to enhance the imaging quality by synthesizing the desired modality and reducing the slice thickness. Despite the promising synthetic results, these techniques are often tailored to specific tasks, thereby limiting their adaptability to complex clinical scenarios. Therefore, it is crucial to build a unified network that can handle various image synthesis tasks with arbitrary requirements of modality and resolution settings, so that the resources for training and deploying the models can be greatly reduced. However, none of the previous works is capable of performing CMS, SR, and CMSR using a unified network. Moreover, these MRI reconstruction methods often treat alias frequencies improperly, resulting in suboptimal detail restoration. In this paper, we propose a Unified Co-Modulated Alias-free framework (Uni-COAL) to accomplish the aforementioned tasks with a single network. The co-modulation design of the image-conditioned and stochastic attribute representations ensures the consistency between CMS and SR, while simultaneously accommodating arbitrary combinations of input/output modalities and thickness. The generator of Uni-COAL is also designed to be alias-free based on the Shannon-Nyquist signal processing framework, ensuring effective suppression of alias frequencies. Additionally, we leverage the semantic prior of Segment Anything Model (SAM) to guide Uni-COAL, ensuring a more authentic preservation of anatomical structures during synthesis. Experiments on three datasets demonstrate that Uni-COAL outperforms the alternatives in CMS, SR, and CMSR tasks for MR images, which highlights its generalizability to wide-range applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google