Transformers for CT Reconstruction From Monoplanar and Biplanar Radiographs

要約

タイトル：単面および双面放射線画像からのCT再構築のためのTransformers

要約：

– CTスキャンは、内部構造の詳細で正確な情報を提供する。
– この研究では、単面および双面X線写真からCT画像を再構築する問題に取り組みます。
– 2つの異なるオートエンコーダーネットワークを使用して、X線写真とCT画像を潜在的な量子化コードブックベクトルに埋め込みます。
– その後、言語翻訳の問題として基盤タスクを構築するためにトランスフォーマーアーキテクチャに基づく新しい手法を提案します。
– 最後に、GPTモデルを学習し、CT画像のコードブックベクトルを再構築します。
– そのため、CT画像をX線写真のコードブックベクトルに関連付けます。
– この手法は、現実的な画像を生成することができます。
– このアプローチは、組織のサイズを決定するなど、CTが粗い測定のためにしか取得されない場合には患者に放射線を浴びさせずに済むかもしれません。
– この分野での研究を促進するために、コードをGitHubで公開しています。

要約(オリジナル)

Computed Tomography (CT) scans provide detailed and accurate information of internal structures in the body. They are constructed by sending x-rays through the body from different directions and combining this information into a three-dimensional volume. Such volumes can then be used to diagnose a wide range of conditions and allow for volumetric measurements of organs. In this work, we tackle the problem of reconstructing CT images from biplanar x-rays only. X-rays are widely available and even if the CT reconstructed from these radiographs is not a replacement of a complete CT in the diagnostic setting, it might serve to spare the patients from radiation where a CT is only acquired for rough measurements such as determining organ size. We propose a novel method based on the transformer architecture, by framing the underlying task as a language translation problem. Radiographs and CT images are first embedded into latent quantized codebook vectors using two different autoencoder networks. We then train a GPT model, to reconstruct the codebook vectors of the CT image, conditioned on the codebook vectors of the x-rays and show that this approach leads to realistic looking images. To encourage further research in this direction, we make our code publicly available on GitHub: XXX.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI