Image Retrieval with Intra-Sweep Representation Learning for Neck Ultrasound Scanning Guidance

要約

目的: 術中超音波 (US) は、経口ロボット手術におけるリアルタイムの視覚化を強化できます。
外科医は術前スキャンでメンタルマップを作成します。
次に、外科医が遠隔手術コンソールで手術を行っている間、手術助手が手術中にフリーハンド US スキャンを実行します。
外科医のメンタルマップ内のターゲット走査面を伝達することは困難です。
自動画像検索は、術中画像と術前スキャンを照合するのに役立ち、助手が US プローブを目標面に向けて調整するようにガイドします。
方法: 術中の US ビューを術前画像データベースと照合するための自己教師あり対比学習アプローチを提案します。
スイープ内の類似性と US プローブの位置を活用して特徴のエンコードを改善する、新しい対照的な学習戦略を導入します。
さらに、私たちのモデルには、不満足な一致を拒否するための柔軟なしきい値が組み込まれています。
結果: 私たちの方法は、シミュレートされたデータに対して 92.30% の検索精度を達成し、最先端の時間ベースの対比学習アプローチを上回ります。
私たちのアブレーション研究は、最適化目標でプローブ位置を使用すると画像表現が向上することを実証し、プローブ位置から意味論的な情報を抽出できることを示唆しています。
また、舌の収縮による組織の変形にもかかわらず、提案されている US プローブ位置特定システムの実現可能性を示すために、実際の患者データに対するアプローチも紹介します。
結論: スイープ内の類似性と US プローブの位置を利用する我々の対照的な学習方法は、US 画像表現の学習を強化します。
また、我々の画像検索方法を使用して、舌の収縮後に実際の患者の US 上で頸部 US の位置を特定する実現可能性も実証します。

要約(オリジナル)

Purpose: Intraoperative ultrasound (US) can enhance real-time visualization in transoral robotic surgery. The surgeon creates a mental map with a pre-operative scan. Then, a surgical assistant performs freehand US scanning during the surgery while the surgeon operates at the remote surgical console. Communicating the target scanning plane in the surgeon’s mental map is difficult. Automatic image retrieval can help match intraoperative images to preoperative scans, guiding the assistant to adjust the US probe toward the target plane. Methods: We propose a self-supervised contrastive learning approach to match intraoperative US views to a preoperative image database. We introduce a novel contrastive learning strategy that leverages intra-sweep similarity and US probe location to improve feature encoding. Additionally, our model incorporates a flexible threshold to reject unsatisfactory matches. Results: Our method achieves 92.30% retrieval accuracy on simulated data and outperforms state-of-the-art temporal-based contrastive learning approaches. Our ablation study demonstrates that using probe location in the optimization goal improves image representation, suggesting that semantic information can be extracted from probe location. We also present our approach on real patient data to show the feasibility of the proposed US probe localization system despite tissue deformation from tongue retraction. Conclusion: Our contrastive learning method, which utilizes intra-sweep similarity and US probe location, enhances US image representation learning. We also demonstrate the feasibility of using our image retrieval method to provide neck US localization on real patient US after tongue retraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google