MedTet: An Online Motion Model for 4D Heart Reconstruction

要約

我々は、スパースな術中データから3次元心臓運動を再構成する新しいアプローチを提示する。既存の手法は、完全な3Dボリューム画像から3D臓器形状を正確に再構成することができるが、通常、数個の2Dフレームや1D信号のような限られた観測データがリアルタイムで利用可能である外科的介入中には使用することができない。我々は、このような部分的なデータから3Dモーションを再構成するための汎用的なフレームワークを提案する。このフレームワークは、3次元空間を符号付き距離値を持つ変形可能な四面体グリッドに離散化し、動きのダイナミクスを明示的に制御しながら、暗黙的に無制限の解像度を提供する。術前のフルボリュームデータから再構成された初期3Dモデルが与えられれば、ユニバーサル観測エンコーダを備えた我々のシステムは、フル3Dボリューム、数枚の2D MRIスライス、あるいは1D信号からも、コヒーレントな3D心臓運動を再構成することができる。心臓インターベンションシナリオの広範な実験により、様々なスパースなリアルタイム観測データから、もっともらしく解剖学的に一貫性のある3次元運動再構成を生成する能力が実証され、マルチモーダル心臓イメージングへの可能性が強調された。我々のコードとモデルは、https://github.com/Scalsol/MedTet。

要約(オリジナル)

We present a novel approach to reconstruction of 3D cardiac motion from sparse intraoperative data. While existing methods can accurately reconstruct 3D organ geometries from full 3D volumetric imaging, they cannot be used during surgical interventions where usually limited observed data, such as a few 2D frames or 1D signals, is available in real-time. We propose a versatile framework for reconstructing 3D motion from such partial data. It discretizes the 3D space into a deformable tetrahedral grid with signed distance values, providing implicit unlimited resolution while maintaining explicit control over motion dynamics. Given an initial 3D model reconstructed from pre-operative full volumetric data, our system, equipped with an universal observation encoder, can reconstruct coherent 3D cardiac motion from full 3D volumes, a few 2D MRI slices or even 1D signals. Extensive experiments on cardiac intervention scenarios demonstrate our ability to generate plausible and anatomically consistent 3D motion reconstructions from various sparse real-time observations, highlighting its potential for multimodal cardiac imaging. Our code and model will be made available at https://github.com/Scalsol/MedTet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL