SoftHebb: Bayesian Inference in Unsupervised Hebbian Soft Winner-Take-All Networks

要約

勝者総取り (WTA) ネットワークにおける Hebbian 可塑性は、その効率的、ローカル、教師なし、およびオンラインの性質により、ニューロモルフィック オンチップ学習にとって非常に魅力的です。
さらに、その生物学的妥当性は、敵対的な攻撃や長いトレーニング時間に対する感受性など、人工アルゴリズムの重要な制限を克服するのに役立つ可能性があります。
ただし、Hebbian WTA 学習は機械学習 (ML) ではほとんど使用されていません。これは、ディープ ラーニング (DL) と互換性のある最適化理論が欠落しているためと考えられます。
ここでは、標準の DL 要素によって構築された WTA ネットワークが、導出した Hebbian のような可塑性と組み合わされて、データのベイジアン生成モデルを維持することを厳密に示します。
重要なことは、監視なしで、アルゴリズム SoftHebb が交差エントロピー、つまり監視付き DL の一般的な損失関数を最小化することです。
これを理論的にも実践的にも示します。
重要なのは、絶対的な「ハード」勝者ニューロンが存在しない「ソフト」WTA です。
驚くべきことに、バックプロパゲーション (BP) との浅いネットワークの比較では、SoftHebb はその Hebbian 効率を超えた利点を示しています。
つまり、収束が速くなり、ノイズや敵対的攻撃に対して大幅に堅牢になります。
特に、SoftHebb を最大限に混乱させる攻撃は人間の目を混乱させ、人間の知覚の堅牢性を大脳皮質の Hebbian WTA 回路と結び付ける可能性があります。
最後に、SoftHebb は、実際のオブジェクト クラスの補間として合成オブジェクトを生成できます。
全体として、Hebbian 効率、理論的基盤、交差エントロピー最小化、および驚くべき経験的利点は、SoftHebb が非常にニューロモルフィックで根本的に異なるが、実用的で有利な学習アルゴリズムとハードウェア アクセラレータを刺激する可能性があることを示唆しています。

要約(オリジナル)

Hebbian plasticity in winner-take-all (WTA) networks is highly attractive for neuromorphic on-chip learning, owing to its efficient, local, unsupervised, and on-line nature. Moreover, its biological plausibility may help overcome important limitations of artificial algorithms, such as their susceptibility to adversarial attacks and long training time. However, Hebbian WTA learning has found little use in machine learning (ML), likely because it has been missing an optimization theory compatible with deep learning (DL). Here we show rigorously that WTA networks constructed by standard DL elements, combined with a Hebbian-like plasticity that we derive, maintain a Bayesian generative model of the data. Importantly, without any supervision, our algorithm, SoftHebb, minimizes cross-entropy, i.e. a common loss function in supervised DL. We show this theoretically and in practice. The key is a ‘soft’ WTA where there is no absolute ‘hard’ winner neuron. Strikingly, in shallow-network comparisons with backpropagation (BP), SoftHebb shows advantages beyond its Hebbian efficiency. Namely, it converges faster and is significantly more robust to noise and adversarial attacks. Notably, attacks that maximally confuse SoftHebb are also confusing to the human eye, potentially linking human perceptual robustness, with Hebbian WTA circuits of cortex. Finally, SoftHebb can generate synthetic objects as interpolations of real object classes. All in all, Hebbian efficiency, theoretical underpinning, cross-entropy-minimization, and surprising empirical advantages, suggest that SoftHebb may inspire highly neuromorphic and radically different, but practical and advantageous learning algorithms and hardware accelerators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google