Constrained Reinforcement Learning and Formal Verification for Safe Colonoscopy Navigation

要約

ロボットの柔軟な内視鏡 (FE) の分野は大幅に進歩し、患者の不快感を軽減する有望なソリューションを提供しています。
ただし、ほとんどのロボット FE の制限された自律性は、非直感的で挑戦的な操作をもたらし、臨床現場での適用を制限します。
以前の研究では、自律ナビゲーションに管腔追跡が採用されていましたが、内視鏡が結腸壁に面しているときに、障害物の存在や急な方向転換に適応できませんでした。
この作業では、ルーメン追跡の必要性を排除する深層強化学習 (DRL) ベースのナビゲーション戦略を提案します。
ただし、DRL メソッドの使用は、実行されるアクションに関連する潜在的な危険を考慮していないため、安全上のリスクをもたらします。
安全性を確保するために、制約付き強化学習 (CRL) メソッドを利用して、事前定義された安全体制でポリシーを制限します。
さらに、正式な検証 (FV) を利用して、展開前に完全に安全なポリシーを選択するモデル選択戦略を提示します。
仮想大腸内視鏡検査環境でアプローチを検証し、300 のトレーニング済みポリシーから、完全に安全な 3 つのポリシーを特定できたことを報告します。
私たちの研究は、CRL を FV によるモデル選択と組み合わせることで、外科手術におけるロボットの動作の堅牢性と安全性を向上できることを示しています。

要約(オリジナル)

The field of robotic Flexible Endoscopes (FEs) has progressed significantly, offering a promising solution to reduce patient discomfort. However, the limited autonomy of most robotic FEs results in non-intuitive and challenging manoeuvres, constraining their application in clinical settings. While previous studies have employed lumen tracking for autonomous navigation, they fail to adapt to the presence of obstructions and sharp turns when the endoscope faces the colon wall. In this work, we propose a Deep Reinforcement Learning (DRL)-based navigation strategy that eliminates the need for lumen tracking. However, the use of DRL methods poses safety risks as they do not account for potential hazards associated with the actions taken. To ensure safety, we exploit a Constrained Reinforcement Learning (CRL) method to restrict the policy in a predefined safety regime. Moreover, we present a model selection strategy that utilises Formal Verification (FV) to choose a policy that is entirely safe before deployment. We validate our approach in a virtual colonoscopy environment and report that out of the 300 trained policies, we could identify three policies that are entirely safe. Our work demonstrates that CRL, combined with model selection through FV, can improve the robustness and safety of robotic behaviour in surgical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google