Reinforcement Learning for Control of Non-Markovian Cellular Population Dynamics

要約

細菌から癌細胞まで、多くの生物と細胞タイプは、変動する環境に適応する顕著な能力を示しています。
さらに、細胞は過去の環境の記憶を活用して、以前に発生したストレッサーをよりよく生き残ることができます。
コントロールの観点から見ると、この適応性は、細胞集団を絶滅に向けて駆動する重要な課題をもたらし、したがって、非常に臨床的意義を伴う未解決の問題を提起します。
この作業では、表現型の可塑性を示す細胞集団の薬物投与に焦点を当てています。
耐性状態と感受性状態を切り替える特定の動的モデルの場合、正確な溶液が知られています。
ただし、基礎となるシステムパラメーターが不明であり、複雑なメモリベースのシステムの場合、最適なソリューションを取得することは現在手に負えないものです。
この課題に対処するために、補強学習（RL）を適用して、新しい非マルコビアンダイナミクスの下で進化する細胞集団を制御するための情報に基づいた投与戦略を特定します。
モデルフリーのディープRLは、長距離の時間的ダイナミクスが存在する場合でも、正確なソリューションを回復し、細胞集団を制御できることがわかります。
より現実的な設定でアプローチをさらにテストするために、測定ノイズと動的なメモリ強度を備えた環境で堅牢なRLベースの制御戦略を示します。

要約(オリジナル)

Many organisms and cell types, from bacteria to cancer cells, exhibit a remarkable ability to adapt to fluctuating environments. Additionally, cells can leverage a memory of past environments to better survive previously-encountered stressors. From a control perspective, this adaptability poses significant challenges in driving cell populations toward extinction, and thus poses an open question with great clinical significance. In this work, we focus on drug dosing in cell populations exhibiting phenotypic plasticity. For specific dynamical models switching between resistant and susceptible states, exact solutions are known. However, when the underlying system parameters are unknown, and for complex memory-based systems, obtaining the optimal solution is currently intractable. To address this challenge, we apply reinforcement learning (RL) to identify informed dosing strategies to control cell populations evolving under novel non-Markovian dynamics. We find that model-free deep RL is able to recover exact solutions and control cell populations even in the presence of long-range temporal dynamics. To further test our approach in more realistic settings, we demonstrate robust RL-based control strategies in environments with measurement noise and dynamic memory strength.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google