Formation of Representations in Neural Networks

要約

神経表現を理解することは、ニューラルネットワークのブラックボックスを開き、最新のAIシステムの科学的理解を促進するのに役立ちます。
しかし、現代のニューラルネットワークで複雑で構造化され、移転可能な表現がどのように出現しているかは、謎のままです。
以前の結果に基づいて、神経ネットワークのほとんどの隠れた層の表現形成を普遍的に管理するために、6つのアライメント関係のセットを仮定する標準表現仮説（CRH）を提案します。
CRHの下では、潜在表現（R）、重量（W）、およびニューロン勾配（g）がトレーニング中に相互に整列します。
このアライメントは、ニューラルネットワークが自然にコンパクトな表現を学習することを意味します。コンパクトな表現では、ニューロンと重量がタスクに照らされる変換に不変であることを意味します。
次に、CRHの破壊がR、W、およびGの間の相互の電力関係の出現につながることを示します。これは、多項式アライメント仮説（PAH）と呼ばれます。
勾配ノイズと正則化のバランスが標準表現の出現に不可欠であることを証明する最小限の吸収理論を提示します。
CRHとPAHは、単一のフレームワークで、神経崩壊や神経特徴Ansatzを含む主要な主要な深い学習現象を統一するエキサイティングな可能性につながります。

要約(オリジナル)

Understanding neural representations will help open the black box of neural networks and advance our scientific understanding of modern AI systems. However, how complex, structured, and transferable representations emerge in modern neural networks has remained a mystery. Building on previous results, we propose the Canonical Representation Hypothesis (CRH), which posits a set of six alignment relations to universally govern the formation of representations in most hidden layers of a neural network. Under the CRH, the latent representations (R), weights (W), and neuron gradients (G) become mutually aligned during training. This alignment implies that neural networks naturally learn compact representations, where neurons and weights are invariant to task-irrelevant transformations. We then show that the breaking of CRH leads to the emergence of reciprocal power-law relations between R, W, and G, which we refer to as the Polynomial Alignment Hypothesis (PAH). We present a minimal-assumption theory proving that the balance between gradient noise and regularization is crucial for the emergence of the canonical representation. The CRH and PAH lead to an exciting possibility of unifying major key deep learning phenomena, including neural collapse and the neural feature ansatz, in a single framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google