From Data-Fitting to Discovery: Interpreting the Neural Dynamics of Motor Control through Reinforcement Learning

要約

運動神経科学では、人工リカレント ニューラル ネットワーク モデルが動物研究を補完することがよくあります。
しかし、ほとんどのモデリングの取り組みはデータのフィッティングに限定されており、強化学習のコンテキストで仮想的に具現化されたエージェントを調査する少数の取り組みは、それらの生物学的対応物との直接の比較を行っていません。
私たちの研究は、霊長類の歩行と自転車の実験結果を直接裏付ける脚式移動を実行する仮想ロボットの構造化された神経活動を明らかにすることで、このギャップに取り組んでいます。
私たちは、歩くように訓練された身体化されたエージェントが、計算神経科学の中核原理であるもつれ、つまり隣接する神経空間での反対の神経軌道を回避する滑らかなダイナミクスを示すことを発見しました。
具体的には、幅広い一連の歩行にわたって、エージェントは反復層の神経軌道が入力駆動型の作動層のものよりもつれが少ないことを示します。
これらの楕円形の軌道の神経分離をより適切に解釈するために、さまざまな前方、横方向、および回転速度条件にわたる平均活動の分散を最大化する速度軸を特定します。

要約(オリジナル)

In motor neuroscience, artificial recurrent neural networks models often complement animal studies. However, most modeling efforts are limited to data-fitting, and the few that examine virtual embodied agents in a reinforcement learning context, do not draw direct comparisons to their biological counterparts. Our study addressing this gap, by uncovering structured neural activity of a virtual robot performing legged locomotion that directly support experimental findings of primate walking and cycling. We find that embodied agents trained to walk exhibit smooth dynamics that avoid tangling — or opposing neural trajectories in neighboring neural space — a core principle in computational neuroscience. Specifically, across a wide suite of gaits, the agent displays neural trajectories in the recurrent layers are less tangled than those in the input-driven actuation layers. To better interpret the neural separation of these elliptical-shaped trajectories, we identify speed axes that maximizes variance of mean activity across different forward, lateral, and rotational speed conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google