Coding schemes in neural networks learning classification tasks

要約

ニューラル ネットワークには、タスクに依存する特徴の意味のある表現を生成する重要な機能があります。
実際、適切なスケーリングを使用すると、ニューラル ネットワークでの教師あり学習により、強力なタスク依存の特徴学習を実現できます。
しかし、私たちが「コーディングスキーム」と呼ぶ創発表現の性質はまだ不明です。
創発的なコーディング スキームを理解するために、学習によってネットワークの重みの事後分布が形成されるベイジアン フレームワークを使用して、全結合ワイド ニューラル ネットワーク学習分類タスクを調査します。
以前の発見と一致して、特徴学習レジーム (「非遅延」レジーム、「リッチ」レジーム、または「平均場」レジームとも呼ばれます) の分析では、ネットワークが強力なデータ依存の特徴を獲得することが示されています。
驚くべきことに、内部表現の性質はニューロンの非線形性に決定的に依存します。
線形ネットワークでは、タスクのアナログコーディングスキームが出現します。
強い表現にもかかわらず、平均予測子は遅延ケースと同じです。
非線形ネットワークでは、自発的な対称性の破れにより、冗長またはスパースのコーディング スキームが発生します。
私たちの発見は、重みのスケーリングやニューロンの非線形性などのネットワーク特性が創発的な表現にどのように大きな影響を与える可能性があるかを浮き彫りにしています。

要約(オリジナル)

Neural networks posses the crucial ability to generate meaningful representations of task-dependent features. Indeed, with appropriate scaling, supervised learning in neural networks can result in strong, task-dependent feature learning. However, the nature of the emergent representations, which we call the `coding scheme’, is still unclear. To understand the emergent coding scheme, we investigate fully-connected, wide neural networks learning classification tasks using the Bayesian framework where learning shapes the posterior distribution of the network weights. Consistent with previous findings, our analysis of the feature learning regime (also known as `non-lazy’, `rich’, or `mean-field’ regime) shows that the networks acquire strong, data-dependent features. Surprisingly, the nature of the internal representations depends crucially on the neuronal nonlinearity. In linear networks, an analog coding scheme of the task emerges. Despite the strong representations, the mean predictor is identical to the lazy case. In nonlinear networks, spontaneous symmetry breaking leads to either redundant or sparse coding schemes. Our findings highlight how network properties such as scaling of weights and neuronal nonlinearity can profoundly influence the emergent representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google