From Monocular Vision to Autonomous Action: Guiding Tumor Resection via 3D Reconstruction

要約

外科的自動化には、正確なガイダンスとシーンの理解が必要です。
文献の現在の方法は、かさばる深度カメラに依存して解剖学の地図を作成しますが、これは宇宙制限された臨床アプリケーションにうまく変換されません。
単眼カメラは小さく、狭いスペースでの低侵襲手術を許可しますが、3Dシーンの理解を生成するには追加の処理が必要です。
RGB画像のみを使用してターゲット解剖学のセグメント化されたポイントクラウドを作成する3Dマッピングパイプラインを提案します。
最も正確な再構成を確保するために、中央気道閉塞のマッピングに関するモーションアルゴリズムのパフォーマンスと異なる構造を比較し、腫瘍切除の下流タスクでパイプラインをテストします。
ポストプロークア編集モデルの評価を含むいくつかのメトリックでは、パイプラインはRGB-Dカメラと同等に機能し、場合によってはパフォーマンスを上回ります。
これらの有望な結果は、単眼カメラを使用した低侵襲手順で自動化ガイダンスが達成できることを示しています。
この研究は、手術ロボットの完全な自律性に向けた一歩です。

要約(オリジナル)

Surgical automation requires precise guidance and understanding of the scene. Current methods in the literature rely on bulky depth cameras to create maps of the anatomy, however this does not translate well to space-limited clinical applications. Monocular cameras are small and allow minimally invasive surgeries in tight spaces but additional processing is required to generate 3D scene understanding. We propose a 3D mapping pipeline that uses only RGB images to create segmented point clouds of the target anatomy. To ensure the most precise reconstruction, we compare different structure from motion algorithms’ performance on mapping the central airway obstructions, and test the pipeline on a downstream task of tumor resection. In several metrics, including post-procedure tissue model evaluation, our pipeline performs comparably to RGB-D cameras and, in some cases, even surpasses their performance. These promising results demonstrate that automation guidance can be achieved in minimally invasive procedures with monocular cameras. This study is a step toward the complete autonomy of surgical robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google