Swin-X2S: Reconstructing 3D Shape from 2D Biplanar X-ray with Swin Transformers

要約

2D X 線から 3D 形状への変換は、診断の効率と安全性を向上させる大きな可能性を秘めています。
しかし、既存の再構成方法は、多くの場合、手作りの特徴、手作業による介入、事前の知識に依存しており、その結果、不安定な形状エラーが発生し、追加の処理コストが発生します。
この論文では、2D 二平面直交 X 線画像から 3D セグメンテーションとラベリングを直接再構成するためのエンドツーエンドのディープラーニング手法である Swin-X2S を紹介します。
Swin-X2S はエンコーダ/デコーダ アーキテクチャを採用しています。エンコーダは 2D Swin Transformer を利用して X 線情報を抽出し、デコーダはクロスアテンションを備えた 3D 畳み込みを採用して、直交ビューからの構造特徴を統合します。
次元拡張モジュールがエンコーダとデコーダの橋渡しとして導入され、2D ピクセルから 3D ボクセルへのスムーズな変換が保証されます。
私たちは、4 つの解剖学的構造 (大腿骨、股関節、脊椎、肋骨)、合計 54 のカテゴリーをカバーする 9 つの公開データセットにわたる広範な定性的および定量的実験を通じて、提案された方法を評価します。
以前の方法と比較した大幅な改善は、セグメンテーションとラベリングのメトリクスだけでなく、実際のアプリケーションで主に懸念される臨床関連パラメータでも観察されており、Swin-X2S が解剖学的形状の再構築に効果的なオプションを提供できることが実証されています。
臨床シナリオ。
コードの実装は \url{https://github.com/liukuan5625/Swin-X2S} で入手できます。

要約(オリジナル)

The conversion from 2D X-ray to 3D shape holds significant potential for improving diagnostic efficiency and safety. However, existing reconstruction methods often rely on hand-crafted features, manual intervention, and prior knowledge, resulting in unstable shape errors and additional processing costs. In this paper, we introduce Swin-X2S, an end-to-end deep learning method for directly reconstructing 3D segmentation and labeling from 2D biplanar orthogonal X-ray images. Swin-X2S employs an encoder-decoder architecture: the encoder leverages 2D Swin Transformer for X-ray information extraction, while the decoder employs 3D convolution with cross-attention to integrate structural features from orthogonal views. A dimension-expanding module is introduced to bridge the encoder and decoder, ensuring a smooth conversion from 2D pixels to 3D voxels. We evaluate proposed method through extensive qualitative and quantitative experiments across nine publicly available datasets covering four anatomies (femur, hip, spine, and rib), with a total of 54 categories. Significant improvements over previous methods have been observed not only in the segmentation and labeling metrics but also in the clinically relevant parameters that are of primary concern in practical applications, which demonstrates the promise of Swin-X2S to provide an effective option for anatomical shape reconstruction in clinical scenarios. Code implementation is available at: \url{https://github.com/liukuan5625/Swin-X2S}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google