Towards Deep Learning Guided Autonomous Eye Surgery Using Microscope and iOCT Images

要約

網膜手術の最近の進歩により、手術ロボット、顕微鏡、術​​中光干渉断層撮影装置 (iOCT) で構成される最新の手術室が予測されています。
これらのツールを統合すると、外科手術の自律性を可能にするためにそれらを効果的に組み合わせる方法という根本的な問題が生じます。
この研究では、これらのデバイスを利用してリアルタイムの自律的な外科ワークフローを可能にする統合フレームワークを開発することで、この問題に取り組みます。
これを達成するために、私たちは以下の機能からなるシステムを作成します。 (1) 顕微鏡と iOCT をリアルタイムで統合する新しいイメージング システムを開発します。これは、小さな iOCT スキャン領域 (
例: B-scan)、以前は不可能だった両方のセンサーのリアルタイム統合が可能になります。
(2) 外科手術の自律性のためにタスク関連情報を自動的に検出してセグメント化するさまざまな畳み込みニューラル ネットワーク (CNN) を実装します。
(3) 外科医が簡単なマウスクリック操作を通じて、顕微鏡ビューと iOCT ビューの両方で目標ウェイポイントを直感的に選択できるようにします。
(4) 患者の安全を確保するために運動学的制約を尊重しながら、軌道生成のためのモデル予測制御 (MPC) を統合します。
私たちは、標的薬物送達のために網膜下の特定の深さにマイクロニードルを挿入することを伴う困難な手順である網膜下注射（SI）を自動化することにより、私たちのシステムの有用性を示します。
この作業は、数十マイクロメートルの精度と正確な深度認識が要求されるため、外科医にとっては困難です。
当社では、ブタの眼で 30 件の SI 試験を実施してシステムを検証し、さまざまな網膜下の目標に対して 26 マイクロメートルの平均針挿入精度と 55 秒の平均持続時間を達成しました。
プロジェクトの Web サイトはこちら: https://sites.google.com/view/eyesurgerymicroscopeoct/home

要約(オリジナル)

Recent advancements in retinal surgery predict a modern operating room consisting of a surgical robot, a microscope, and intraoperative optical coherence tomography (iOCT). Integrating these tools raises the fundamental question of how to effectively combine them to enable surgical autonomy. In this work, we address this question by developing a unified framework that enables real-time autonomous surgical workflows utilizing these devices. To achieve this, we create a system consisting of the following features: (1) we develop a novel imaging system that integrates the microscope and iOCT in a real-time manner, accomplished by dynamically tracking the surgical instrument via a small iOCT scanning region (e.g. B-scan), enabling real-time integration of both sensors which was previously not possible; (2) we implement various convolutional neural networks (CNN) that automatically detect and segment task-relevant information for surgical autonomy; (3) we enable surgeons to intuitively select goal waypoints within both the microscope and iOCT views through simple mouse-click interactions; (4) and we integrate model predictive control (MPC) for trajectory generation while respecting kinematic constraints to ensure patient safety. We show the utility of our system by automating subretinal injection (SI), a challenging procedure that involves inserting a microneedle beneath the retina at a specific depth for targeted drug delivery. This task is challenging for surgeons due to the requirement for tens-of-micrometers of accuracy and precise depth perception. We validate our system by conducting 30 successful SI trials on pig eyes, achieving mean needle insertion accuracy of 26 micrometers to various subretinal goals and mean duration of 55 seconds. Project website is here: https://sites.google.com/view/eyesurgerymicroscopeoct/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google