Constrained Reinforcement Learning and Formal Verification for Safe Colonoscopy Navigation

要約

ロボット型軟性内視鏡（FE）は、患者の不快感を軽減する有望なソリューションとして、大きく発展してきた。しかし、ロボット内視鏡の自律性は限られているため、直感的でない難しい操作が必要となり、臨床現場での応用に制約がある。これまでの研究では、自律的なナビゲーションのために内腔追跡を採用してきましたが、内視鏡が結腸の壁に直面したときの障害物の存在や急旋回に対応することができません。本研究では、内腔追跡を不要とするDeep Reinforcement Learning (DRL)ベースのナビゲーション戦略を提案します。しかし、DRLを用いたナビゲーションは、動作に伴う潜在的な危険性を考慮しないため、安全上のリスクがあります。そこで、本論文では、制約付き強化学習（CRL）法を用いて、あらかじめ定義された安全領域においてポリシーを制約する。さらに、形式的検証（FV）を利用したモデル選択戦略を提示し、展開前に完全に安全なポリシーを選択する。仮想大腸内視鏡環境において本アプローチを検証し、300の学習済みポリシーのうち、完全に安全なポリシーを3つ特定できたことを報告する。我々の研究は、CRLとFVによるモデル選択を組み合わせることで、外科手術アプリケーションにおけるロボット動作の頑健性と安全性を向上できることを実証している。

要約(オリジナル)

The field of robotic Flexible Endoscopes (FEs) has progressed significantly, offering a promising solution to reduce patient discomfort. However, the limited autonomy of most robotic FEs results in non-intuitive and challenging manoeuvres, constraining their application in clinical settings. While previous studies have employed lumen tracking for autonomous navigation, they fail to adapt to the presence of obstructions and sharp turns when the endoscope faces the colon wall. In this work, we propose a Deep Reinforcement Learning (DRL)-based navigation strategy that eliminates the need for lumen tracking. However, the use of DRL methods poses safety risks as they do not account for potential hazards associated with the actions taken. To ensure safety, we exploit a Constrained Reinforcement Learning (CRL) method to restrict the policy in a predefined safety regime. Moreover, we present a model selection strategy that utilises Formal Verification (FV) to choose a policy that is entirely safe before deployment. We validate our approach in a virtual colonoscopy environment and report that out of the 300 trained policies, we could identify three policies that are entirely safe. Our work demonstrates that CRL, combined with model selection through FV, can improve the robustness and safety of robotic behaviour in surgical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL