Deep Reinforcement Learning Based System for Intraoperative Hyperspectral Video Autofocusing

要約

ハイパースペクトル イメージング (HSI) は、従来の光学イメージングよりも高いレベルのスペクトルの詳細をキャプチャするため、正確な組織の区別が不可欠な場合に潜在的に貴重な術中ツールになります。
ハンドヘルドリアルタイムビデオHSIに使用されている現在の光学システムのハードウェア制限により、焦点深度が制限されるため、手術室にテクノロジーを統合する際にユーザビリティの問題が生じます。
この研究では、焦点調整可能な液体レンズをビデオ HSI 外視鏡に統合し、深層強化学習に基づいた新しいビデオ自動焦点合わせ方法を提案します。
現実的で再現可能なテスト データセットを作成するために、この種では初めてのロボットによる焦点時間スキャンが実行されました。
私たちは、提案したオートフォーカス アルゴリズムを従来のポリシーと比較してベンチマークし、新しいアプローチが従来の手法よりも大幅に ($p<0.05$) 優れたパフォーマンスを発揮することを発見しました ($0.070\pm.098$ は、$0.146\pm.148$ と比較して絶対焦点誤差を平均します)。 さらに、2 人の脳外科医に異なるオートフォーカス ポリシーを備えたシステムを比較してもらうことで盲検ユーザビリティ試験を実施したところ、当社の新しいアプローチが最も良好であることが判明し、当社のシステムが術中 HSI にとって望ましい追加となることがわかりました。

要約(オリジナル)

Hyperspectral imaging (HSI) captures a greater level of spectral detail than traditional optical imaging, making it a potentially valuable intraoperative tool when precise tissue differentiation is essential. Hardware limitations of current optical systems used for handheld real-time video HSI result in a limited focal depth, thereby posing usability issues for integration of the technology into the operating room. This work integrates a focus-tunable liquid lens into a video HSI exoscope, and proposes novel video autofocusing methods based on deep reinforcement learning. A first-of-its-kind robotic focal-time scan was performed to create a realistic and reproducible testing dataset. We benchmarked our proposed autofocus algorithm against traditional policies, and found our novel approach to perform significantly ($p<0.05$) better than traditional techniques ($0.070\pm.098$ mean absolute focal error compared to $0.146\pm.148$). In addition, we performed a blinded usability trial by having two neurosurgeons compare the system with different autofocus policies, and found our novel approach to be the most favourable, making our system a desirable addition for intraoperative HSI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google