Robust Computation with Intrinsic Heterogeneity

要約

固有の内部タイプのニューロンの不均一性は、計算上の利点が十分に裏付けられた、生物学的システムの遍在する特徴です。
機械学習の最近の研究では、シナプス接続とともにニューロンのパラメーターを最適化することでこのような多様性を組み込み、一般的なベンチマーク全体で最先端のパフォーマンスを実証しました。
ただし、このパフォーマンスの向上には、パラメーター空間が大きくなることで計算コストが大幅に増加するという代償が伴います。
さらに、周囲の生物物理学によって制約される神経パラメータが、トップダウンのエラーを最小限に抑えるためにどのようにグローバルに調整されるかは不明である。
これらの課題に対処するために、私たちはニューロンが本質的に多様であると仮定し、そのような異質なニューロンパラメータの計算能力を調査します。
私たちの結果は、固定された抑制された無秩序とみなされる本質的な不均一性が、多くの場合、数百の時間的タスクにわたってパフォーマンスを大幅に向上させることを示しています。
特に、小規模だが異種ネットワークは、消費するデータ量が少ないにもかかわらず、大規模で同種ネットワークよりも優れたパフォーマンスを発揮します。
このパフォーマンス向上を促進する根本的なメカニズムを解明し、レートとスパイクの両方のダイナミクスへの適用可能性を示します。
さらに、我々の調査結果は、異種ネットワークは反復的なシナプスのハイパーパラメータの重大な変更に対して高い回復力を持ち、反復的な接続を削除してもパフォーマンスが損なわれないことを示しています。
サイズが小さく接続性が緩和された異種ネットワークの顕著な有効性は、デバイス間の変動による課題に直面しているニューロモーフィック コミュニティに特に関係があります。
さらに、不均一性を伴うロバストな計算のメカニズムを理解することは、神経科学者や機械学習者にとっても有益です。

要約(オリジナル)

Intrinsic within-type neuronal heterogeneity is a ubiquitous feature of biological systems, with well-documented computational advantages. Recent works in machine learning have incorporated such diversities by optimizing neuronal parameters alongside synaptic connections and demonstrated state-of-the-art performance across common benchmarks. However, this performance gain comes at the cost of significantly higher computational costs, imposed by a larger parameter space. Furthermore, it is unclear how the neuronal parameters, constrained by the biophysics of their surroundings, are globally orchestrated to minimize top-down errors. To address these challenges, we postulate that neurons are intrinsically diverse, and investigate the computational capabilities of such heterogeneous neuronal parameters. Our results show that intrinsic heterogeneity, viewed as a fixed quenched disorder, often substantially improves performance across hundreds of temporal tasks. Notably, smaller but heterogeneous networks outperform larger homogeneous networks, despite consuming less data. We elucidate the underlying mechanisms driving this performance boost and illustrate its applicability to both rate and spiking dynamics. Moreover, our findings demonstrate that heterogeneous networks are highly resilient to severe alterations in their recurrent synaptic hyperparameters, and even recurrent connections removal does not compromise performance. The remarkable effectiveness of heterogeneous networks with small sizes and relaxed connectivity is particularly relevant for the neuromorphic community, which faces challenges due to device-to-device variability. Furthermore, understanding the mechanism of robust computation with heterogeneity also benefits neuroscientists and machine learners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google