X-GRM: Large Gaussian Reconstruction Model for Sparse-view X-rays to Computed Tomography

要約

コンピューター断層撮影は、臨床ワークフローに不可欠なツールとして機能し、内部解剖学的構造の非侵襲的視覚化を提供します。
既存のCT再構成作業は、小容量モデルアーキテクチャと柔軟性のないボリューム表現に限定されています。
この作業では、X-GRM（X-Ray Gaussian Reconstruction Model）を提示します。これは、Sparse-View 2D X線投影から3D CTボリュームを再構築するための大きなフィードフォワードモデルです。
X-GRMは、スケーラブルな変圧器ベースのアーキテクチャを採用して、異なるビューのトークンが効率的に統合されているスパースビューX線入力をエンコードします。
次に、これらのトークンは、VoxelベースのGaussian Splatting（VOXGS）という名前の新しいボリューム表現にデコードされ、効率的なCTボリューム抽出と微分可能なX線レンダリングを可能にします。
この大容量モデルと柔軟なボリューム表現のこの組み合わせにより、モデルは、ドメイン内およびドメインのX線予測を含むさまざまなテスト入力から高品質の再構成を生成することができます。
私たちのコードは、https：//github.com/cuhk-aim-group/x-grmで入手できます。

要約(オリジナル)

Computed Tomography serves as an indispensable tool in clinical workflows, providing non-invasive visualization of internal anatomical structures. Existing CT reconstruction works are limited to small-capacity model architecture and inflexible volume representation. In this work, we present X-GRM (X-ray Gaussian Reconstruction Model), a large feedforward model for reconstructing 3D CT volumes from sparse-view 2D X-ray projections. X-GRM employs a scalable transformer-based architecture to encode sparse-view X-ray inputs, where tokens from different views are integrated efficiently. Then, these tokens are decoded into a novel volume representation, named Voxel-based Gaussian Splatting (VoxGS), which enables efficient CT volume extraction and differentiable X-ray rendering. This combination of a high-capacity model and flexible volume representation, empowers our model to produce high-quality reconstructions from various testing inputs, including in-domain and out-domain X-ray projections. Our codes are available at: https://github.com/CUHK-AIM-Group/X-GRM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google