Designing and evaluating an online reinforcement learning agent for physical exercise recommendations in N-of-1 trials

要約

個別化された適応介入は患者の利益を増やす機会を提供しますが、その計画と実施には課題があります。
実施後は、個別化された適応的介入が、固定のゴールドスタンダード介入と比較して実際に臨床的により効果的であるかどうかは重要な問題です。
この論文では、オンライン強化学習エージェントによるパーソナライズされた介入の実装が実現可能かつ効果的かどうかをテストする革新的な N-of-1 試験研究デザインを紹介します。
全体を通して、子宮内膜症の痛みを軽減するための身体運動の推奨に関する新しい研究を説明のために使用します。
コンテキストバンディット推奨エージェントの設計について説明し、シミュレーション研究でエージェントを評価します。
この結果は、適応的介入は設計と実装のプロセスを複雑にするものの、たとえ観察結果がほとんどなくても患者の利益を向上させる可能性があることを示しています。
期待される利益を定量化するには、以前の介入研究からのデータが必要です。
私たちは、私たちのアプローチが他の介入や臨床介入にも応用できることを期待しています。

要約(オリジナル)

Personalized adaptive interventions offer the opportunity to increase patient benefits, however, there are challenges in their planning and implementation. Once implemented, it is an important question whether personalized adaptive interventions are indeed clinically more effective compared to a fixed gold standard intervention. In this paper, we present an innovative N-of-1 trial study design testing whether implementing a personalized intervention by an online reinforcement learning agent is feasible and effective. Throughout, we use a new study on physical exercise recommendations to reduce pain in endometriosis for illustration. We describe the design of a contextual bandit recommendation agent and evaluate the agent in simulation studies. The results show that adaptive interventions add complexity to the design and implementation process, but have the potential to improve patients’ benefits even if only few observations are available. In order to quantify the expected benefit, data from previous interventional studies is required. We expect our approach to be transferable to other interventions and clinical interventions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google