DuoLift-GAN:Reconstructing CT from Single-view and Biplanar X-Rays with Generative Adversarial Networks

要約

コンピュータ断層撮影 (CT) は、非常に詳細な三次元 (3D) 医用画像を提供しますが、費用と時間がかかり、術中の設定ではアクセスできないことがよくあります (Organization et al. 2011)。
最近の進歩では、単視点画像や直交二視点画像などのまばらな 2D X 線からの 3D 胸部ボリュームの再構築が検討されています。
ただし、現在のモデルは 2D 画像を平面的に処理する傾向があり、構造の正確さよりも視覚的なリアリズムを優先します。
この研究では、2D 画像とその特徴を独立して 3D 表現に高めるデュアル ブランチを備えた新しいアーキテクチャである DuoLift Generative Adversarial Networks (DuoLift-GAN) を紹介します。
これらの 3D 出力は統合された 3D 特徴マップにマージされ、完全な 3D 胸部ボリュームにデコードされ、より豊富な 3D 情報のキャプチャが可能になります。
また、重要な解剖学的領域に向けて再構築を指示し、構造精度と視覚的品質を向上させるマスクされた損失関数も提示します。
この論文は、DuoLift-GAN が既存の方法と比較して優れた視覚的リアリズムを達成しながら、再構成精度を大幅に向上させることを実証します。

要約(オリジナル)

Computed tomography (CT) provides highly detailed three-dimensional (3D) medical images but is costly, time-consuming, and often inaccessible in intraoperative settings (Organization et al. 2011). Recent advancements have explored reconstructing 3D chest volumes from sparse 2D X-rays, such as single-view or orthogonal double-view images. However, current models tend to process 2D images in a planar manner, prioritizing visual realism over structural accuracy. In this work, we introduce DuoLift Generative Adversarial Networks (DuoLift-GAN), a novel architecture with dual branches that independently elevate 2D images and their features into 3D representations. These 3D outputs are merged into a unified 3D feature map and decoded into a complete 3D chest volume, enabling richer 3D information capture. We also present a masked loss function that directs reconstruction towards critical anatomical regions, improving structural accuracy and visual quality. This paper demonstrates that DuoLift-GAN significantly enhances reconstruction accuracy while achieving superior visual realism compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google