Synergistic pathways of modulation enable robust task packing within neural dynamics

要約

脳神経ネットワークがどのように学習し、複数のタスクを同時に管理するかを理解することは、神経科学と人工知能の両分野で関心を集めている。この点に関して、理論神経科学の最近の研究テーマは、リカレントニューラルネットワークモデルとその内部ダイナミクスが、どのようにマルチタスク学習を実現するかに焦点を当てている。異なるタスクを管理するためには、タスクの同一性やコンテキストに関する情報をモデルに伝達するメカニズムが必要であり、生物学的な観点からは、神経調節のメカニズムが関与している可能性がある。本研究では、リカレントネットワークモデルを用いて、神経ダイナミクスの文脈変調の2つの形態（神経細胞の興奮性のレベルとシナプスの強さのレベル）の違いを調べる。文脈の曖昧さに対する頑健性と、それに関連して、有限サイズのネットワークに複数のタスクを詰め込む際の効率性に焦点を当てながら、これらのメカニズムを機能的な結果の観点から特徴付ける。また、これらのメカニズムが引き起こすニューロンのダイナミクスのレベルにおいて、これらのメカニズムが区別されることを示す。これらの特徴づけは、これらのメカニズムが、マルチタスク学習の頑健性を向上させるために、複数の時間スケールでどのように作用するかについて、相補性と相乗性を示している。

要約(オリジナル)

Understanding how brain networks learn and manage multiple tasks simultaneously is of interest in both neuroscience and artificial intelligence. In this regard, a recent research thread in theoretical neuroscience has focused on how recurrent neural network models and their internal dynamics enact multi-task learning. To manage different tasks requires a mechanism to convey information about task identity or context into the model, which from a biological perspective may involve mechanisms of neuromodulation. In this study, we use recurrent network models to probe the distinctions between two forms of contextual modulation of neural dynamics, at the level of neuronal excitability and at the level of synaptic strength. We characterize these mechanisms in terms of their functional outcomes, focusing on their robustness to context ambiguity and, relatedly, their efficiency with respect to packing multiple tasks into finite size networks. We also demonstrate distinction between these mechanisms at the level of the neuronal dynamics they induce. Together, these characterizations indicate complementarity and synergy in how these mechanisms act, potentially over multiple time-scales, toward enhancing robustness of multi-task learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL