Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion

要約

3D患者身体モデリングは、スマート医療スキャンや手術室での自動患者ポジショニングの成功に不可欠である。既存のCNNベースのエンドツーエンドの患者モデリングソリューションは、一般的に、a)大量の関連する学習データを必要とするカスタマイズされたネットワーク設計を必要とし、広範な現実的な臨床シナリオ（例えば、シーツで覆われた患者）をカバーするため、実用的な展開において最適な汎化性が得られない。これらの問題に対処するために、我々は、(a)2D患者関節位置決めのためのアテンティブフュージョンとマルチモーダルキーポイント検出モジュールから構成される、汎用モジュール化された3D患者モデリング法を提案する、(b)自己教師付き3Dメッシュ回帰モジュール。このモジュールは、学習に高価な3Dメッシュパラメータ注釈を必要としないため、臨床展開に即座にコストメリットをもたらす。提案手法の有効性を、公開データと臨床データの両方を用いた広範な患者位置決め実験により実証する。我々の評価結果は、実際の臨床シナリオにおいて、様々な画像モダリティにおいて優れた患者位置決め性能を達成した。

要約(オリジナル)

3D patient body modeling is critical to the success of automated patient positioning for smart medical scanning and operating rooms. Existing CNN-based end-to-end patient modeling solutions typically require a) customized network designs demanding large amount of relevant training data, covering extensive realistic clinical scenarios (e.g., patient covered by sheets), which leads to suboptimal generalizability in practical deployment, b) expensive 3D human model annotations, i.e., requiring huge amount of manual effort, resulting in systems that scale poorly. To address these issues, we propose a generic modularized 3D patient modeling method consists of (a) a multi-modal keypoint detection module with attentive fusion for 2D patient joint localization, to learn complementary cross-modality patient body information, leading to improved keypoint localization robustness and generalizability in a wide variety of imaging (e.g., CT, MRI etc.) and clinical scenarios (e.g., heavy occlusions); and (b) a self-supervised 3D mesh regression module which does not require expensive 3D mesh parameter annotations to train, bringing immediate cost benefits for clinical deployment. We demonstrate the efficacy of the proposed method by extensive patient positioning experiments on both public and clinical data. Our evaluation results achieve superior patient positioning performance across various imaging modalities in real clinical scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL