Nested ResNet: A Vision-Based Method for Detecting the Sensing Area of a Drop-in Gamma Probe

要約

目的: ドロップイン ガンマ プローブは、リンパ節検出のためのロボット支援低侵襲手術 (RAMIS) で広く使用されています。
ただし、これらのデバイスは信号強度に関する音声フィードバックのみを提供し、正確な位置特定に必要な視覚的なフィードバックを欠いています。
以前の研究では、腹腔鏡画像を使用して感知領域の位置を予測しようとしましたが、予測精度は満足のいくものではありませんでした。
深層学習ベースの回帰アプローチには改善が必要です。
方法: プローブの感知領域を予測するために 3 ブランチの深層学習フレームワークを導入します。
具体的には、ステレオ腹腔鏡画像をメインブランチへの入力として利用し、Nested ResNet アーキテクチャを開発します。
このフレームワークには、転移学習による深度推定と、プローブ軸サンプリングによる方向誘導も組み込まれています。
各ブランチの特徴を組み合わせることで、予測の精度が向上しました。
結果: 私たちのアプローチは公開されているデータセットで評価され、以前の方法よりも優れたパフォーマンスを示しました。
特に、私たちの方法では 2D 平均誤差が 22.10% 減少し、3D 平均誤差が 41.67% 減少しました。
さらに、定性的な比較により、私たちのアプローチの精度が向上していることがさらに実証されました。
結論: 広範な評価により、当社のソリューションはセンシングエリア予測の精度と信頼性を大幅に向上させます。
この進歩により、手術でドロップイン ガンマ プローブを使用する際の視覚的なフィードバックが可能になり、外科医はより正確で信頼性の高い位置特定が可能になります。}

要約(オリジナル)

Purpose: Drop-in gamma probes are widely used in robotic-assisted minimally invasive surgery (RAMIS) for lymph node detection. However, these devices only provide audio feedback on signal intensity, lacking the visual feedback necessary for precise localisation. Previous work attempted to predict the sensing area location using laparoscopic images, but the prediction accuracy was unsatisfactory. Improvements are needed in the deep learning-based regression approach. Methods: We introduce a three-branch deep learning framework to predict the sensing area of the probe. Specifically, we utilise the stereo laparoscopic images as input for the main branch and develop a Nested ResNet architecture. The framework also incorporates depth estimation via transfer learning and orientation guidance through probe axis sampling. The combined features from each branch enhanced the accuracy of the prediction. Results: Our approach has been evaluated on a publicly available dataset, demonstrating superior performance over previous methods. In particular, our method resulted in a 22.10\% decrease in 2D mean error and a 41.67\% reduction in 3D mean error. Additionally, qualitative comparisons further demonstrated the improved precision of our approach. Conclusion: With extensive evaluation, our solution significantly enhances the accuracy and reliability of sensing area predictions. This advancement enables visual feedback during the use of the drop-in gamma probe in surgery, providing surgeons with more accurate and reliable localisation.}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google