Repeat and Concatenate: 2D to 3D Image Translation with 3D to 3D Generative Modeling

要約

この論文では、2D X 線を 3D CT に似た再構成に相関させる、簡単な手法による 2D から 3D 画像の変換方法を調査します。
潜在空間内の複数の 2D ビューにわたる情報を統合する既存のアプローチでは、潜在エンコード中に貴重な信号情報が失われることが観察されています。
代わりに、2D ビューを単純に繰り返して連結して高チャネルの 3D ボリュームにし、3D から 3D への単純な生成モデリング問題として 3D 再構成の課題に取り組み、いくつかの複雑なモデリングの問題を回避します。
この方法により、再構成された 3D ボリュームは、Swin UNETR バックボーンのチャネル状態間で受け渡される 2D 入力からの貴重な情報を保持できるようになります。
私たちのアプローチは、トレーニングに高速かつ安定したニューラル最適トランスポートを適用し、正確な位置合わせを必要とせずに複数のビューにわたる信号情報を効果的に統合します。
限られたトレーニングの後でも、2D ビューに非常に忠実な、崩壊のない再構成が生成されます。
単一のデータセットでモデルをトレーニングし、分布外サンプルを含む 6 つのデータセットにわたってその汎化能力を評価した結果、定性的および定量的の両方で相関関係のある結果を示しました。

要約(オリジナル)

This paper investigates a 2D to 3D image translation method with a straightforward technique, enabling correlated 2D X-ray to 3D CT-like reconstruction. We observe that existing approaches, which integrate information across multiple 2D views in the latent space, lose valuable signal information during latent encoding. Instead, we simply repeat and concatenate the 2D views into higher-channel 3D volumes and approach the 3D reconstruction challenge as a straightforward 3D to 3D generative modeling problem, sidestepping several complex modeling issues. This method enables the reconstructed 3D volume to retain valuable information from the 2D inputs, which are passed between channel states in a Swin UNETR backbone. Our approach applies neural optimal transport, which is fast and stable to train, effectively integrating signal information across multiple views without the requirement for precise alignment; it produces non-collapsed reconstructions that are highly faithful to the 2D views, even after limited training. We demonstrate correlated results, both qualitatively and quantitatively, having trained our model on a single dataset and evaluated its generalization ability across six datasets, including out-of-distribution samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google