Spectral Gap Regularization of Neural Networks

要約

タイトル：ニューラルネットワークのスペクトルギャップ正則化

要約：
– スペクトル/グラフ情報を利用したニューラルネットワークの正則化手法であるFiedler regularizationを提案する。
– 既存の正則化手法は、ニューラルネットワークの接続構造を無視して、グローバル/均一に重みをペナルティすることが多いが、Fiedler regularizationはニューラルネットワークの基礎的なグラフのFiedler値を正則化に利用することを提案している。
– スペクトルグラフ理論に基づいた理論的な根拠を提供し、Fiedler値のいくつかの有用な性質を示す。
– 訓練中の高速計算のための近似的な変分法ベースの手法を提供する。
– このフレームワークの別の形式である構造的に重み付けられた $\text{L}_1$ ペナルティの代替式を提供し、疎性誘起への手法につながる。
– Rademacher複雑度解析によってFiedler正則化の一様な一般化誤差上界を提供する。
– dropoutやweight decayなどの古典的な正則化手法と比較して、Fiedler正則化の有効性をデータセットで実証する。また、これはTamとDunson（2020）の会議論文のジャーナル版拡張である。

要約(オリジナル)

We introduce Fiedler regularization, a novel approach for regularizing neural networks that utilizes spectral/graphical information. Existing regularization methods often focus on penalizing weights in a global/uniform manner that ignores the connectivity structure of the neural network. We propose to use the Fiedler value of the neural network’s underlying graph as a tool for regularization. We provide theoretical motivation for this approach via spectral graph theory. We demonstrate several useful properties of the Fiedler value that make it useful as a regularization tool. We provide an approximate, variational approach for faster computation during training. We provide an alternative formulation of this framework in the form of a structurally weighted $\text{L}_1$ penalty, thus linking our approach to sparsity induction. We provide uniform generalization error bounds for Fiedler regularization via a Rademacher complexity analysis. We performed experiments on datasets that compare Fiedler regularization with classical regularization methods such as dropout and weight decay. Results demonstrate the efficacy of Fiedler regularization. This is a journal extension of the conference paper by Tam and Dunson (2020).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI