Orthogonal Transforms in Neural Networks Amount to Effective Regularization

要約

我々は、非線形システム同定におけるニューラル ネットワークの応用を検討し、周波数情報やその他の既知の直交変換を組み込むことで一般的なネットワーク構造を調整すると、普遍的な特性を維持した効率的なニューラル ネットワークが得られるはずであるという仮説を立てます。
我々は、そのような構造が普遍的な近似器であり、提案された方法で直交変換を使用すると、各パラメータの学習率を個別に調整することによってトレーニング中に正則化が暗示されることを示します。
特に、フーリエ変換を使用したこのような構造は、直交性サポートのない同等のモデルよりも優れたパフォーマンスを発揮することを経験的に示しています。

要約(オリジナル)

We consider applications of neural networks in nonlinear system identification and formulate a hypothesis that adjusting general network structure by incorporating frequency information or other known orthogonal transform, should result in an efficient neural network retaining its universal properties. We show that such a structure is a universal approximator and that using any orthogonal transform in a proposed way implies regularization during training by adjusting the learning rate of each parameter individually. We empirically show in particular, that such a structure, using the Fourier transform, outperforms equivalent models without orthogonality support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google