Learning to Match 2D Keypoints Across Preoperative MR and Intraoperative Ultrasound

要約

本稿では、術前の磁気共鳴（MR）画像と術中の超音波（US）画像を照合するために特別に設計されたテクスチャ不変の 2D キーポイント記述子を提案します。
我々は、複数の MR モダリティと術中の US 変動を考慮した MR 画像から術中 US 画像を合成する、合成によるマッチング戦略を導入します。
すべての画像に対してキーポイントの位置特定を強制することでトレーニング セットを構築し、教師あり対照的な方法でテクスチャ不変の判別特徴を学習する患者固有の記述子ネットワークをトレーニングして、堅牢なキーポイント記述子を生成します。
グラウンドトゥルースを使用した実際のケースでの実験では、提案されたアプローチの有効性が示され、最先端の方法を上回り、平均で 80.35% のマッチング精度を達成しました。

要約(オリジナル)

We propose in this paper a texture-invariant 2D keypoints descriptor specifically designed for matching preoperative Magnetic Resonance (MR) images with intraoperative Ultrasound (US) images. We introduce a matching-by-synthesis strategy, where intraoperative US images are synthesized from MR images accounting for multiple MR modalities and intraoperative US variability. We build our training set by enforcing keypoints localization over all images then train a patient-specific descriptor network that learns texture-invariant discriminant features in a supervised contrastive manner, leading to robust keypoints descriptors. Our experiments on real cases with ground truth show the effectiveness of the proposed approach, outperforming the state-of-the-art methods and achieving 80.35% matching precision on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google