Constrained Reinforcement Learning and Formal Verification for Safe Colonoscopy Navigation

要約

ロボット軟性内視鏡 (FE) の分野は大幅に進歩し、患者の不快感を軽減する有望なソリューションを提供しています。
しかし、ほとんどのロボット FE は自律性が限られているため、操作が非直感的で困難になり、臨床現場での応用が制限されます。
これまでの研究では自律航行のために内腔追跡を採用していましたが、内視鏡が結腸壁に面したときの障害物の存在や急な回転に適応できませんでした。
この研究では、内腔追跡の必要性を排除する深層強化学習 (DRL) ベースのナビゲーション戦略を提案します。
ただし、DRL 手法の使用には、実行されるアクションに関連する潜在的な危険が考慮されていないため、安全上のリスクが伴います。
安全性を確保するために、制約付き強化学習 (CRL) 手法を利用して、事前定義された安全性レジーム内でポリシーを制限します。
さらに、正式検証 (FV) を利用して展開前に完全に安全なポリシーを選択するモデル選択戦略を紹介します。
私たちは仮想結腸内視鏡検査環境でアプローチを検証し、訓練された 300 のポリシーのうち、完全に安全な 3 つのポリシーを特定できたと報告しています。
私たちの研究は、CRL を FV によるモデル選択と組み合わせることで、外科用途におけるロボット動作の堅牢性と安全性を向上できることを実証しています。

要約(オリジナル)

The field of robotic Flexible Endoscopes (FEs) has progressed significantly, offering a promising solution to reduce patient discomfort. However, the limited autonomy of most robotic FEs results in non-intuitive and challenging manoeuvres, constraining their application in clinical settings. While previous studies have employed lumen tracking for autonomous navigation, they fail to adapt to the presence of obstructions and sharp turns when the endoscope faces the colon wall. In this work, we propose a Deep Reinforcement Learning (DRL)-based navigation strategy that eliminates the need for lumen tracking. However, the use of DRL methods poses safety risks as they do not account for potential hazards associated with the actions taken. To ensure safety, we exploit a Constrained Reinforcement Learning (CRL) method to restrict the policy in a predefined safety regime. Moreover, we present a model selection strategy that utilises Formal Verification (FV) to choose a policy that is entirely safe before deployment. We validate our approach in a virtual colonoscopy environment and report that out of the 300 trained policies, we could identify three policies that are entirely safe. Our work demonstrates that CRL, combined with model selection through FV, can improve the robustness and safety of robotic behaviour in surgical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google