Offline Learning of Closed-Loop Deep Brain Stimulation Controllers for Parkinson Disease Treatment

要約

脳深部刺激療法 (DBS) は、脳の大脳基底核 (BG) 領域に電気パルスを送達することにより、パーキンソン病 (PD) によって引き起こされる運動症状の治療に大きな期待を寄せています。
ただし、米国食品医薬品局 (FDA) によって承認された DBS デバイスは、一定の振幅で連続 DBS (cDBS) 刺激しか提供できません。
このエネルギー効率の悪い操作により、デバイスのバッテリー寿命が短くなり、活動に動的に治療を適応させることができず、重大な副作用 (歩行障害など) を引き起こす可能性があります。
この作業では、オフラインの強化学習 (RL) フレームワークを導入し、過去の臨床データを使用して RL ポリシーをトレーニングし、刺激の振幅をリアルタイムで調整できるようにし、同じレベルの治療を維持しながらエネルギー使用量を削減することを目標にしています。
(すなわち、コントロール) cDBS としての有効性。
さらに、臨床プロトコルでは、このような RL コントローラーの安全性と性能を、患者への展開に先立って実証する必要があります。
したがって、患者に展開する前に、履歴データを使用して RL ポリシーのパフォーマンスを推定するオフライン ポリシー評価 (OPE) メソッドも導入します。
RC+S DBS システムを装備した 4 人の PD 患者のフレームワークを評価し、毎月の臨床訪問中に RL コントローラーを使用し、全体的な制御の有効性を症状の重症度 (つまり、運動緩慢と振戦)、PD バイオマーカーの変化 (つまり、
、局所電界電位)、および患者の評価。
臨床実験の結果は、RL ベースのコントローラーが cDBS と同じレベルの制御有効性を維持しているが、刺激エネルギーが大幅に減少していることを示しています。
さらに、OPE メソッドは、RL コントローラーの期待リターンを正確に推定してランク付けするのに有効であることが示されています。

要約(オリジナル)

Deep brain stimulation (DBS) has shown great promise toward treating motor symptoms caused by Parkinson’s disease (PD), by delivering electrical pulses to the Basal Ganglia (BG) region of the brain. However, DBS devices approved by the U.S. Food and Drug Administration (FDA) can only deliver continuous DBS (cDBS) stimuli at a fixed amplitude; this energy inefficient operation reduces battery lifetime of the device, cannot adapt treatment dynamically for activity, and may cause significant side-effects (e.g., gait impairment). In this work, we introduce an offline reinforcement learning (RL) framework, allowing the use of past clinical data to train an RL policy to adjust the stimulation amplitude in real time, with the goal of reducing energy use while maintaining the same level of treatment (i.e., control) efficacy as cDBS. Moreover, clinical protocols require the safety and performance of such RL controllers to be demonstrated ahead of deployments in patients. Thus, we also introduce an offline policy evaluation (OPE) method to estimate the performance of RL policies using historical data, before deploying them on patients. We evaluated our framework on four PD patients equipped with the RC+S DBS system, employing the RL controllers during monthly clinical visits, with the overall control efficacy evaluated by severity of symptoms (i.e., bradykinesia and tremor), changes in PD biomakers (i.e., local field potentials), and patient ratings. The results from clinical experiments show that our RL-based controller maintains the same level of control efficacy as cDBS, but with significantly reduced stimulation energy. Further, the OPE method is shown effective in accurately estimating and ranking the expected returns of RL controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google