Reinforcement Learning for Safe Autonomous Two Device Navigation of Cerebral Vessels in Mechanical Thrombectomy

要約

目的：機械的血栓切除術（MT）の自律システムは、手順時間を短縮し、放射線被曝を最小限に抑え、患者の安全性を高めることを約束します。
ただし、現在の強化学習（RL）方法は、頸動脈にのみ到達し、他の患者の血管に一般化できず、安全性を考慮しません。
頸動脈を越えて脳血管に移動できる安全なデュアルデバイスRLアルゴリズムを提案します。
方法：シミュレーションオープンフレームワークアーキテクチャを使用して、大脳血管の複雑さと、修正されたソフトアクタークリティックRLアルゴリズムを表して、初めてマイクロカテーターとマイクロガイドワイヤのナビゲーションを学習しました。
ガイドワイヤーのチップフォースを統合することにより、患者の安全メトリックを報酬機能に組み込みます。
逆RLは、12の患者固有の血管症例に関するデモンストレーターデータで使用されます。
結果：私たちのシミュレーションは、目に見えない大脳血管内での自律的なナビゲーションが成功し、96％の成功率、7.0秒の手順時間、および0.24 Nの平均力を達成し、提案された1.5 N容器破裂閾値を大きく下回っています。
結論：私たちの知る限り、MT 2デバイスナビゲーションのための提案された自律システムは脳血管に到達し、安全性を考慮し、初めて目に見えない患者固有の症例に一般化できます。
将来の作業により、検証がさまざまな複雑さの維持およびin vitroモデルに拡張されると考えています。
私たちの貢献は、臨床環境でエージェントの展開への道を開いていますが、安全性と信頼性は、新しい方法論を提案する際に考慮すべき重要な要素です。

要約(オリジナル)

Purpose: Autonomous systems in mechanical thrombectomy (MT) hold promise for reducing procedure times, minimizing radiation exposure, and enhancing patient safety. However, current reinforcement learning (RL) methods only reach the carotid arteries, are not generalizable to other patient vasculatures, and do not consider safety. We propose a safe dual-device RL algorithm that can navigate beyond the carotid arteries to cerebral vessels. Methods: We used the Simulation Open Framework Architecture to represent the intricacies of cerebral vessels, and a modified Soft Actor-Critic RL algorithm to learn, for the first time, the navigation of micro-catheters and micro-guidewires. We incorporate patient safety metrics into our reward function by integrating guidewire tip forces. Inverse RL is used with demonstrator data on 12 patient-specific vascular cases. Results: Our simulation demonstrates successful autonomous navigation within unseen cerebral vessels, achieving a 96% success rate, 7.0s procedure time, and 0.24 N mean forces, well below the proposed 1.5 N vessel rupture threshold. Conclusion: To the best of our knowledge, our proposed autonomous system for MT two-device navigation reaches cerebral vessels, considers safety, and is generalizable to unseen patient-specific cases for the first time. We envisage future work will extend the validation to vasculatures of different complexity and on in vitro models. While our contributions pave the way towards deploying agents in clinical settings, safety and trustworthiness will be crucial elements to consider when proposing new methodology.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google