Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics

要約

タイトル：トレーニングダイナミクスを通じた座標ベースMLPsの分光バイアスの理解

要約：
– 分光バイアスとは、ニューラルネットワークのトレーニング中に、高周波成分に収束する前にネットワークが低周波表現を学習することを示す重要な現象である。
– この性質は、過学習したネットワークにおいて優れた一般化のためのリンクがあるため、興味深い。
– しかし、低次元の設定では、高周波成分に収束することを完全に妨げる重度の分光バイアスが発生する。
– この制限を克服するために、高周波正弦波符号化を使用して入力をエンコードすることができる。
– 以前の研究では、ニューラルタンジェントカーネル（NTK）やフーリエ解析を使用して、この現象を説明しようと試みた。
– しかし、NTKは実際のネットワークダイナミクスを捉えておらず、フーリエ解析はこのバイアスを引き起こすネットワークの特性に対するグローバルな視点しか提供しない。
– この論文では、ReLU MLPのトレーニングダイナミクスを直接研究することによって、分光バイアスの理解に向けた新しいアプローチを提供する。
– 具体的には、ReLUネットワークの演算（活性化領域）と勾配降下の収束速度との関連性に焦点を当てる。
– 信号の空間情報に関連してこれらのダイナミクスを研究し、分光バイアスにどのように影響を与えるかを理解するためにこの式を使用する。
– そして、この式を使用して、低次元設定で分光バイアスの重度さと位置符号化の克服方法を研究する。

要約(オリジナル)

Spectral bias is an important observation of neural network training, stating that the network will learn a low frequency representation of the target function before converging to higher frequency components. This property is interesting due to its link to good generalization in over-parameterized networks. However, in low dimensional settings, a severe spectral bias occurs that obstructs convergence to high frequency components entirely. In order to overcome this limitation, one can encode the inputs using a high frequency sinusoidal encoding. Previous works attempted to explain this phenomenon using Neural Tangent Kernel (NTK) and Fourier analysis. However, NTK does not capture real network dynamics, and Fourier analysis only offers a global perspective on the network properties that induce this bias. In this paper, we provide a novel approach towards understanding spectral bias by directly studying ReLU MLP training dynamics. Specifically, we focus on the connection between the computations of ReLU networks (activation regions), and the speed of gradient descent convergence. We study these dynamics in relation to the spatial information of the signal to understand how they influence spectral bias. We then use this formulation to study the severity of spectral bias in low dimensional settings, and how positional encoding overcomes this.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI