Leveraging Multimodal CycleGAN for the Generation of Anatomically Accurate Synthetic CT Scans from MRIs

要約

多くの臨床現場では、患者の解剖学的構造を徹底的に理解し、適切な治療戦略を計画するために、コンピューター断層撮影 (CT) と磁気共鳴 (MRI) の両方の使用が必要です。
これは MRI ベースの放射線治療の場合によく当てはまります。CT は組織の放射線吸収特性に関する重要な情報を提供するため、線量照射の準備には常に CT が必要です。
場合によっては、ターゲットボリュームの輪郭を描くために MRI が好まれることがあります。
しかし、このアプローチは費用もかかり、時間がかかり、そして最も重要なことに患者にとってストレスがかかるため、最も効率的ではないことがよくあります。
この問題を克服するために、この研究では、敵対的生成ネットワーク (GAN) の能力、特に動作可能な CycleGAN アーキテクチャを活用して、MRI から合成 CT スキャンを生成する深層学習モデルのさまざまな構成の機能を分析します。
監視されていない方法で、利用できないペアの画像なしで。
いくつかの CycleGAN モデルは、造影剤の有無にかかわらず、さまざまな MRI モダリティから CT スキャンを生成するために教師なしでトレーニングされました。
グランドトゥルースがないという問題を克服するために、分布ベースのメトリクスを使用してモデルのパフォーマンスを定量的に評価するとともに、生成された画像がどの程度現実的であるかを医師が実際の画像と合成画像を区別するように求められる定性的評価も行いました。
この結果は、入力モダリティに応じて、モデルのパフォーマンスが大きく異なる可能性があることを示しています。
ただし、使用される分布ベースのメトリックに従って、最良の定量的結果が得られるモデルは、医師であっても実際の画像と区別することが非常に困難な画像を生成する可能性があり、このアプローチの可能性を示しています。

要約(オリジナル)

In many clinical settings, the use of both Computed Tomography (CT) and Magnetic Resonance (MRI) is necessary to pursue a thorough understanding of the patient’s anatomy and to plan a suitable therapeutical strategy; this is often the case in MRI-based radiotherapy, where CT is always necessary to prepare the dose delivery, as it provides the essential information about the radiation absorption properties of the tissues. Sometimes, MRI is preferred to contour the target volumes. However, this approach is often not the most efficient, as it is more expensive, time-consuming and, most importantly, stressful for the patients. To overcome this issue, in this work, we analyse the capabilities of different configurations of Deep Learning models to generate synthetic CT scans from MRI, leveraging the power of Generative Adversarial Networks (GANs) and, in particular, the CycleGAN architecture, capable of working in an unsupervised manner and without paired images, which were not available. Several CycleGAN models were trained unsupervised to generate CT scans from different MRI modalities with and without contrast agents. To overcome the problem of not having a ground truth, distribution-based metrics were used to assess the model’s performance quantitatively, together with a qualitative evaluation where physicians were asked to differentiate between real and synthetic images to understand how realistic the generated images were. The results show how, depending on the input modalities, the models can have very different performances; however, models with the best quantitative results, according to the distribution-based metrics used, can generate very difficult images to distinguish from the real ones, even for physicians, demonstrating the approach’s potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google