Growing Artificial Neural Networks for Control: the Role of Neuronal Diversity

要約

生物学的進化では、複雑な神経構造が少数の細胞成分から成長します。
自然界のゲノムにはサイズが制限されているため、この複雑さは、細胞が局所的に通信して分化、増殖、他の細胞と接続するかどうかを決定する成長プロセスによって達成されます。
この自己組織化は、生物学的ニューラル ネットワークの一般化と堅牢性に重要な役割を果たしていると仮説が立てられています。
一方、人工ニューラル ネットワーク (ANN) は伝統的に重みの空間で最適化されます。
したがって、人工ニューラルネットワークの成長の利点と課題は、依然として十分に研究されていません。
以前に紹介した神経発達プログラム (NDP) に基づいて、この研究では、強化学習タスクを解決する ANN を成長させるためのアルゴリズムを紹介します。
私たちは重要な課題を特定しました。表現型の複雑さを確保するにはニューロンの多様性を維持する必要がありますが、この多様性には最適化の安定性が犠牲になります。
これに対処するために、我々は 2 つのメカニズムを導入します。(a) 神経新生時に継承される固有の状態をニューロンに装備する。
(b) 側方抑制。生物学的成長から着想を得たメカニズムで、成長のペースを制御し、多様性の維持を助けます。
我々は、両方のメカニズムがニューロンの多様性に寄与し、それらを備えたNDPが複雑な移動タスクにおいて既存の直接的および発達的エンコーディングと同等の結果を達成することを示す。

要約(オリジナル)

In biological evolution complex neural structures grow from a handful of cellular ingredients. As genomes in nature are bounded in size, this complexity is achieved by a growth process where cells communicate locally to decide whether to differentiate, proliferate and connect with other cells. This self-organisation is hypothesized to play an important part in the generalisation, and robustness of biological neural networks. Artificial neural networks (ANNs), on the other hand, are traditionally optimized in the space of weights. Thus, the benefits and challenges of growing artificial neural networks remain understudied. Building on the previously introduced Neural Developmental Programs (NDP), in this work we present an algorithm for growing ANNs that solve reinforcement learning tasks. We identify a key challenge: ensuring phenotypic complexity requires maintaining neuronal diversity, but this diversity comes at the cost of optimization stability. To address this, we introduce two mechanisms: (a) equipping neurons with an intrinsic state inherited upon neurogenesis; (b) lateral inhibition, a mechanism inspired by biological growth, which controlls the pace of growth, helping diversity persist. We show that both mechanisms contribute to neuronal diversity and that, equipped with them, NDPs achieve comparable results to existing direct and developmental encodings in complex locomotion tasks

arxiv情報

提供元, 利用サービス

arxiv.jp, Google