Artificial Kuramoto Oscillatory Neurons

要約

神経科学と AI の両方において、ニューロン間の「結合」が、ネットワークのより深い層でより抽象的な概念を表現するために表現が圧縮される形式の競合学習につながることは長い間知られていました。
最近では、動的 (時空間) 表現が神経科学と AI の両方で重要な役割を果たしているという仮説も立てられました。
これらのアイデアに基づいて、しきい値ユニットの動的な代替手段として人工倉本振動ニューロン (AKOrN) を導入します。これは、完全接続、畳み込み、または注意深いメカニズムなどの任意の接続設計と組み合わせることができます。
私たちの一般化された倉本アップデートは、同期ダイナミクスを通じてニューロンを結合します。
このアイデアにより、教師なしオブジェクトの発見、敵対的な堅牢性、校正された不確実性の定量化、推論などの幅広いタスクにわたってパフォーマンスが向上することを示します。
これらの経験的結果は、神経表現の最も基本的な神経レベルでの仮定を再考することの重要性を示し、特に動的表現の重要性を示していると私たちは信じています。

要約(オリジナル)

It has long been known in both neuroscience and AI that “binding” between neurons leads to a form of competitive learning where representations are compressed in order to represent more abstract concepts in deeper layers of the network. More recently, it was also hypothesized that dynamic (spatiotemporal) representations play an important role in both neuroscience and AI. Building on these ideas, we introduce Artificial Kuramoto Oscillatory Neurons (AKOrN) as a dynamical alternative to threshold units, which can be combined with arbitrary connectivity designs such as fully connected, convolutional, or attentive mechanisms. Our generalized Kuramoto updates bind neurons together through their synchronization dynamics. We show that this idea provides performance improvements across a wide spectrum of tasks such as unsupervised object discovery, adversarial robustness, calibrated uncertainty quantification, and reasoning. We believe that these empirical results show the importance of rethinking our assumptions at the most basic neuronal level of neural representation, and in particular show the importance of dynamical representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google