reBandit: Random Effects based Online RL algorithm for Reducing Cannabis Use

要約

大麻使用とそれに伴う大麻使用障害（CUD）の蔓延は、世界的に公衆衛生上の重大な課題を引き起こしています。
特に新興成人（EA、18～25歳）の間で治療格差が著しく大きいため、大麻使用とCUDへの対処は、2030年の国連持続可能な開発目標（SDG）アジェンダの中で依然として極めて重要な目標となっている。
この研究では、reBandit と呼ばれるオンライン強化学習 (RL) アルゴリズムを開発します。これは、EA 間での大麻使用の削減を目的としたパーソナライズされたモバイル健康介入を提供するモバイル健康調査に利用されます。
reBandit は、ランダム効果と有益なベイジアン事前分布を利用して、騒がしいモバイルヘルス環境で迅速かつ効率的に学習します。
さらに、reBandit は経験的ベイズと最適化技術を採用して、ハイパーパラメータをオンラインで自律的に更新します。
アルゴリズムのパフォーマンスを評価するために、以前の研究のデータを使用してシミュレーション テストベッドを構築し、モバイルヘルス研究で一般的に使用されるアルゴリズムと比較します。
reBandit はすべてのベースライン アルゴリズムと同等かそれ以上に優れたパフォーマンスを発揮し、シミュレーション環境で母集団の異質性が増加するにつれてパフォーマンスのギャップが拡大することを示し、研究参加者の多様な母集団に適応する能力の高さを証明しています。

要約(オリジナル)

The escalating prevalence of cannabis use, and associated cannabis-use disorder (CUD), poses a significant public health challenge globally. With a notably wide treatment gap, especially among emerging adults (EAs; ages 18-25), addressing cannabis use and CUD remains a pivotal objective within the 2030 United Nations Agenda for Sustainable Development Goals (SDG). In this work, we develop an online reinforcement learning (RL) algorithm called reBandit which will be utilized in a mobile health study to deliver personalized mobile health interventions aimed at reducing cannabis use among EAs. reBandit utilizes random effects and informative Bayesian priors to learn quickly and efficiently in noisy mobile health environments. Moreover, reBandit employs Empirical Bayes and optimization techniques to autonomously update its hyper-parameters online. To evaluate the performance of our algorithm, we construct a simulation testbed using data from a prior study, and compare against commonly used algorithms in mobile health studies. We show that reBandit performs equally well or better than all the baseline algorithms, and the performance gap widens as population heterogeneity increases in the simulation environment, proving its adeptness to adapt to diverse population of study participants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google