ε-Neural Thompson Sampling of Deep Brain Stimulation for Parkinson Disease Treatment

要約

脳深部刺激療法 (DBS) は、パーキンソン病 (PD) の運動症状を軽減するための効果的な介入です。
従来の市販の DBS デバイスは、固定周波数の周期パルスを脳の大脳基底核 (BG) 領域に送達することしかできません。つまり、連続 DBS (cDBS) です。
しかし、一般にエネルギー効率の低下や言語障害などの副作用に悩まされています。
最近の研究は、cDBS の制限を解決するためのアダプティブ DBS (aDBS) に焦点を当てています。
具体的には、エネルギー効率と治療効果の両方を達成するために、刺激の周波数を適応させる強化学習（RL）ベースのアプローチが開発されています。
ただし、RL アプローチは一般に、大量のトレーニング データと計算リソースを必要とするため、aDBS で必要とされるリアルタイム組み込みシステムに RL ポリシーを統合するのが困難になります。
対照的に、コンテキスト マルチアーム バンディット (CMAB) は一般に、RL と比較してサンプル効率が向上します。
この研究では、aDBS 用の CMAB ソリューションを提案します。
具体的には、コンテキストをBG領域の不規則なニューロン発火活動（つまり、ベータバンドパワースペクトル密度）を捕捉する信号として定義し、各アームは刺激の（離散化された）パルス周波数を表します。
さらに、古典的なトンプソン サンプリング手法に加えて {\epsilon} 探索戦略が導入され、{\epsilon}-Neural Thompson サンプリング ({\epsilon}-NeuralTS) と呼ばれるアルゴリズムにつながります。これにより、学習された CMAB ポリシーは次のようになります。
BG 環境の探索と活用のバランスが向上します。
{\epsilon}-NeuralTS アルゴリズムは、PD 患者の脳内のニューロン活動を捕捉する計算 BG モデルを使用して評価されます。
結果は、私たちの方法が既存の cDBS 方法と CMAB ベースラインの両方よりも優れていることを示しています。

要約(オリジナル)

Deep Brain Stimulation (DBS) stands as an effective intervention for alleviating the motor symptoms of Parkinson’s disease (PD). Traditional commercial DBS devices are only able to deliver fixed-frequency periodic pulses to the basal ganglia (BG) regions of the brain, i.e., continuous DBS (cDBS). However, they in general suffer from energy inefficiency and side effects, such as speech impairment. Recent research has focused on adaptive DBS (aDBS) to resolve the limitations of cDBS. Specifically, reinforcement learning (RL) based approaches have been developed to adapt the frequencies of the stimuli in order to achieve both energy efficiency and treatment efficacy. However, RL approaches in general require significant amount of training data and computational resources, making it intractable to integrate RL policies into real-time embedded systems as needed in aDBS. In contrast, contextual multi-armed bandits (CMAB) in general lead to better sample efficiency compared to RL. In this study, we propose a CMAB solution for aDBS. Specifically, we define the context as the signals capturing irregular neuronal firing activities in the BG regions (i.e., beta-band power spectral density), while each arm signifies the (discretized) pulse frequency of the stimulation. Moreover, an {\epsilon}-exploring strategy is introduced on top of the classic Thompson sampling method, leading to an algorithm called {\epsilon}-Neural Thompson sampling ({\epsilon}-NeuralTS), such that the learned CMAB policy can better balance exploration and exploitation of the BG environment. The {\epsilon}-NeuralTS algorithm is evaluated using a computation BG model that captures the neuronal activities in PD patients’ brains. The results show that our method outperforms both existing cDBS methods and CMAB baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google