Rhythmic sharing: A bio-inspired paradigm for zero-shot adaptation and learning in neural networks

要約

脳は新しいコンテキストに迅速に適応し、限られたデータから学ぶことができます。これは、人工知能アルゴリズムが模倣に苦労しているという切望された特徴です。
神経細胞の機械的構造の振動リズムに触発され、リンク強度の振動に基づいた学習パラダイムを開発し、これらの振動の調整と学習することに関連しています。
このパラダイムは、人工ニューラルネットワークにおける迅速な適応と学習をもたらすことがわかります。
リンク振動は、調整を迅速に変化させ、ネットワークに微妙なコンテキストの変化を監視していない方法で感知する能力を与えます。
言い換えれば、ネットワークは、複数のコンテキストでダイナミクスを予測できるジェネラリストAIアーキテクチャとして実行するために必要な欠落しているコンテキストトークンを生成します。
また、振動により、ネットワークはダイナミクスを外挿して、これまでにないコンテキストに外挿することもできます。
これらの機能により、学習パラダイムは、学習と認知の新しいモデルの強力な出発点になります。
さらに、リンク調整による学習は、ニューラルネットワークアーキテクチャの詳細に対する不可知論者です。したがって、私たちの研究は、主要なAIモデルに迅速な適応と学習能力を導入するための扉を開きます。

要約(オリジナル)

The brain can rapidly adapt to new contexts and learn from limited data, a coveted characteristic that artificial intelligence algorithms have struggled to mimic. Inspired by oscillatory rhythms of the mechanical structures of neural cells, we developed a learning paradigm that is based on oscillations in link strengths and associates learning with the coordination of these oscillations. We find that this paradigm yields rapid adaptation and learning in artificial neural networks. Link oscillations can rapidly change coordination, endowing the network with the ability to sense subtle context changes in an unsupervised manner. In other words, the network generates the missing contextual tokens required to perform as a generalist AI architecture capable of predicting dynamics in multiple contexts. Oscillations also allow the network to extrapolate dynamics to never-seen-before contexts. These capabilities make our learning paradigm a powerful starting point for novel models of learning and cognition. Furthermore, learning through link coordination is agnostic to the specifics of the neural network architecture, hence our study opens the door for introducing rapid adaptation and learning capabilities into leading AI models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google