Learning optimal integration of spatial and temporal information in noisy chemotaxis

要約

勾配の空間推定によって駆動される走化性と時間推定によって駆動される走化性の間の境界を調査します。
高ノイズレベルでは空間走化性が小型生物にとって不利になることはよく知られているが、最適な戦略の不連続な切り替えが存在するのか、それとも連続的な移行が存在するのかは不明である。
ここでは、深層強化学習を使用して、先験的な制約のない方法で空間情報と時間情報の統合の可能性を研究します。
私たちは、リカレントニューラルネットワークによってこのような組み合わせられた走化性ポリシーをパラメータ化し、走化性細胞の最小理論モデルを使用して評価します。
ポリシーの制約付きバリアントと比較することにより、小さいセル サイズと大きいセル サイズでそれぞれ純粋に時間的戦略と空間的戦略に収束することを示します。
体制間の移行は連続的であり、複合戦略が移行領域で制約付きバリアントと空間情報と時間情報を明示的に統合するモデルの両方で優れていることがわかりました。
最後に、統合勾配の帰属方法を利用することで、走化性の軌跡中に動的に変化する比率で空間的および時間的に導出された勾配情報の自明ではない組み合わせに政策が依存していることを示します。

要約(オリジナル)

We investigate the boundary between chemotaxis driven by spatial estimation of gradients and chemotaxis driven by temporal estimation. While it is well known that spatial chemotaxis becomes disadvantageous for small organisms at high noise levels, it is unclear whether there is a discontinuous switch of optimal strategies or a continuous transition exists. Here, we employ deep reinforcement learning to study the possible integration of spatial and temporal information in an a priori unconstrained manner. We parameterize such a combined chemotactic policy by a recurrent neural network and evaluate it using a minimal theoretical model of a chemotactic cell. By comparing with constrained variants of the policy, we show that it converges to purely temporal and spatial strategies at small and large cell sizes, respectively. We find that the transition between the regimes is continuous, with the combined strategy outperforming in the transition region both the constrained variants as well as models that explicitly integrate spatial and temporal information. Finally, by utilizing the attribution method of integrated gradients, we show that the policy relies on a non-trivial combination of spatially and temporally derived gradient information in a ratio that varies dynamically during the chemotactic trajectories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google