Towards Deep Learning Guided Autonomous Eye Surgery Using Microscope and iOCT Images

要約

網膜手術の最近の進歩により、手術ロボット、顕微鏡、および網膜手術で広く使用されている深度センサーである術中光干渉断層撮影法 (iOCT) を備えた最新の手術室への道が開かれました。
これらのツールを統合すると、外科手術の自律性を可能にするためにそれらを効果的に組み合わせる方法という根本的な問題が生じます。
この研究では、これらのデバイスを活用してリアルタイムの自律的な外科ワークフローを促進する統合フレームワークを開発することで、この問題に取り組みます。
このシステムの特徴は次のとおりです。(1) 小さな iOCT スキャン領域を介して手術器具を動的に追跡し、リアルタイムの深度フィードバックを提供することで、顕微鏡と iOCT をリアルタイムで統合する新しいイメージング システム。
(2) 外科手術の自律性のためのタスク関連情報を自動的に検出してセグメント化する畳み込みニューラル ネットワーク (CNN) の実装。
(3) 簡単なマウスクリック操作による、顕微鏡ビューと iOCT ビューの両方で目標ウェイポイントを直感的に選択できます。
(4) 軌道生成のためのモデル予測制御 (MPC) の統合。安全関連の運動学的制約を実装することで患者の安全を確保します。
このシステムの有用性は、高精度と奥行き知覚要件を伴う困難な手順である網膜下注射 (SI) を自動化することによって実証されます。
当社では、ブタの眼で 30 件の SI 試験を実施してシステムを検証し、さまざまな網膜下の目標に対して 26 マイクロメートルの平均針挿入精度と 55 秒の平均持続時間を達成しました。
ロボット支援モードで SI を実行する人間のオペレーターとの予備的な比較により、システムの安全性が強化されていることがわかります。
プロジェクトの Web サイトはこちら: https://sites.google.com/view/eyesurgerymicroscopeoct/home

要約(オリジナル)

Recent advancements in retinal surgery have paved the way for a modern operating room equipped with a surgical robot, a microscope, and intraoperative optical coherence tomography (iOCT)- a depth sensor widely used in retinal surgery. Integrating these tools raises the fundamental question of how to effectively combine them to enable surgical autonomy. In this work, we tackle this question by developing a unified framework that facilitates real-time autonomous surgical workflows leveraging these devices. The system features: (1) a novel imaging system that integrates the microscope and iOCT in real-time by dynamically tracking the surgical instrument via a small iOCT scanning region, providing real-time depth feedback; (2) implementation of convolutional neural networks (CNN) that automatically detect and segment task-relevant information for surgical autonomy; (3) intuitive selection of goal waypoints within both the microscope and iOCT views through simple mouse-click interactions; and (4) integration of model predictive control (MPC) for trajectory generation, ensuring patient safety by implementing safety-related kinematic constraints. The system’s utility is demonstrated by automating subretinal injection (SI), a challenging procedure with high accuracy and depth perception requirements. We validate our system by conducting 30 successful SI trials on pig eyes, achieving mean needle insertion accuracy of 26 micrometers to various subretinal goals and mean duration of 55 seconds. Preliminary comparisons to a human operator performing SI in robot-assisted mode highlight the enhanced safety of our system. Project website is here: https://sites.google.com/view/eyesurgerymicroscopeoct/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google