Multimodal Learning To Improve Segmentation With Intraoperative CBCT & Preoperative CT

要約

術中医療画像処理、特にコーンビームコンピュータ断層撮影法 (CBCT) は、視覚的な品質は低いものの、コンピュータ支援介入を容易にする重要なツールです。
この画質の低下は下流のセグメンテーションに影響を与える可能性がありますが、高品質の術前スキャンが利用できることは改善の可能性を示しています。
ここでは、術前 CT スキャンと術中 CBCT スキャンが利用可能であるが、スキャン間の位置合わせ (位置合わせ) が不完全であるという設定を検討します。
我々は、大まかに位置合わせされた CBCT スキャンと CT スキャンを融合するマルチモーダル学習方法を提案し、最終的なセグメンテーションのパフォーマンスに対する CBCT の品質と位置ずれ (位置ずれを促進するアフィン変換と弾性変換) の影響を調査します。
応用シナリオとして、肝臓および肝臓腫瘍のセマンティック セグメンテーションに焦点を当て、術中の画質と位置ずれがセグメンテーションのパフォーマンスに及ぼす影響を評価します。
これを達成するために、高品質のラベル付き CT が術前として定義され、術中 CBCT をシミュレートするための基礎として使用されます。
我々は、術前 CT とシミュレートされた術中 CBCT の融合により、セグメンテーション パフォーマンスがほぼ向上すること、および明らかに位置がずれている術前データであってもセグメンテーション パフォーマンスを向上させる可能性があることを示します。

要約(オリジナル)

Intraoperative medical imaging, particularly Cone-beam computed tomography (CBCT), is an important tool facilitating computer aided interventions, despite a lower visual quality. While this degraded image quality can affect downstream segmentation, the availability of high quality preoperative scans represents potential for improvements. Here we consider a setting where preoperative CT and intraoperative CBCT scans are available, however, the alignment (registration) between the scans is imperfect. We propose a multimodal learning method that fuses roughly aligned CBCT and CT scans and investigate the effect of CBCT quality and misalignment (affine and elastic transformations facilitating misalignment) on the final segmentation performance. As an application scenario, we focus on the segmentation of liver and liver tumor semantic segmentation and evaluate the effect of intraoperative image quality and misalignment on segmentation performance. To accomplish this, high quality, labelled CTs are defined as preoperative and used as a basis to simulate intraoperative CBCT. We show that the fusion of preoperative CT and simulated, intraoperative CBCT mostly improves segmentation performance and that even clearly misaligned preoperative data has the potential to improve segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google