A Population-Level Analysis of Neural Dynamics in Robust Legged Robots

要約

リカレント ニューラル ネットワーク ベースの強化学習システムは、移動や操作などの複雑な運動制御タスクを実行できますが、その基礎となるメカニズムの多くは依然として解釈が困難です。
私たちの目的は、計算神経科学の方法論を活用して、堅牢なロボット移動コントローラーの集団レベルの活動を理解することです。
私たちの調査はトポロジー構造を分析することから始まり、壊れやすいコントローラーには方向が不安定な固定点が多数存在し、その結果、所定の位置に立つよう指示されたときにバランスが崩れることが判明しました。
次に、支配的な集団レベルの活動の方向に沿ってターゲットを絞った神経摂動を適用することにより、システムの強制反応を分析します。
私たちは、歩行中に反復状態のダイナミクスが構造化され、低次元であるという証拠を発見しました。これは霊長類の研究と一致しています。
さらに、再発状態がゼロに摂動されると、脆弱なエージェントは歩き続けます。これは、感覚入力への依存がより強くなり、再発が弱くなることを示しています。

要約(オリジナル)

Recurrent neural network-based reinforcement learning systems are capable of complex motor control tasks such as locomotion and manipulation, however, much of their underlying mechanisms still remain difficult to interpret. Our aim is to leverage computational neuroscience methodologies to understanding the population-level activity of robust robot locomotion controllers. Our investigation begins by analyzing topological structure, discovering that fragile controllers have a higher number of fixed points with unstable directions, resulting in poorer balance when instructed to stand in place. Next, we analyze the forced response of the system by applying targeted neural perturbations along directions of dominant population-level activity. We find evidence that recurrent state dynamics are structured and low-dimensional during walking, which aligns with primate studies. Additionally, when recurrent states are perturbed to zero, fragile agents continue to walk, which is indicative of a stronger reliance on sensory input and weaker recurrence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google