Feature emergence via margin maximization: case studies in algebraic tasks

要約

ニューラル ネットワークによって学習された内部表現を理解することは、機械学習科学の基礎となる課題です。
ニューラル ネットワークが特定のターゲット関数をどのように実装するかについての理解に向けて、最近、大きな進歩が見られるケースもありますが、この論文では、なぜネットワークが特定の計算戦略に到達するのかという補足的な疑問を探ります。
私たちの研究は、モジュラー加算、スパースパリティ、および有限群演算の代数学習タスクに焦点を当てています。
私たちの主な理論的発見は、これらの代数タスクのために様式化されたニューラル ネットワークによって学習された特徴を分析的に特徴付けます。
特に、私たちの主な手法は、マージン最大化の原理だけを使用して、ネットワークによって学習された機能を完全に指定する方法を示しています。
具体的には、訓練されたネットワークがフーリエ特徴を利用してモジュラー加算を実行し、既約群理論表現に対応する特徴を使用して一般群での合成を実行することを証明します。これは、Nanda らの経験的観察と密接に一致しています。
およびChughtaiら。
より一般的には、私たちの技術が、ニューラル ネットワークが特定の計算戦略を採用する理由についてのより深い理解を促進するのに役立つことを願っています。

要約(オリジナル)

Understanding the internal representations learned by neural networks is a cornerstone challenge in the science of machine learning. While there have been significant recent strides in some cases towards understanding how neural networks implement specific target functions, this paper explores a complementary question — why do networks arrive at particular computational strategies? Our inquiry focuses on the algebraic learning tasks of modular addition, sparse parities, and finite group operations. Our primary theoretical findings analytically characterize the features learned by stylized neural networks for these algebraic tasks. Notably, our main technique demonstrates how the principle of margin maximization alone can be used to fully specify the features learned by the network. Specifically, we prove that the trained networks utilize Fourier features to perform modular addition and employ features corresponding to irreducible group-theoretic representations to perform compositions in general groups, aligning closely with the empirical observations of Nanda et al. and Chughtai et al. More generally, we hope our techniques can help to foster a deeper understanding of why neural networks adopt specific computational strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google