Understanding the Spectral Bias of Coordinate Based MLPs Via Training Dynamics

要約

タイトル: トレーニングダイナミクスを介して座標ベースのMLPのスペクトルバイアスを理解する
要約:
– ニューラルネットワークのトレーニングにおけるスペクトルバイアスは重要な観察であり、ネットワークは収束する前にターゲット関数の低周波数表現を学習するという性質を持っている。
– しかし、多層パーセプトロン（MLP）のシーンレンダリングへの適用では、ReLU活性化を使用し、密な、低次元の座標ベースの入力を使用するため、重度のスペクトルバイアスが発生し、高周波数成分に収束するのを妨げる。
– この制限を克服するには、入力を高周波数正弦波で符号化することができるが、過去の研究では、スペクトルバイアスとその重度をニューラルタングルカーネル（NTK）とフーリエ解析を使用して説明しようとするものの、NTKは実際のネットワークダイナミクスを捉えず、フーリエ解析はネットワークの周波数成分のグローバルな視点しか提供しないため、様々な制限がある。
– 本論文では、実際のネットワークでこの行動を引き起こす特性をよりよく理解するために、ReLU MLPのトレーニングダイナミクスを直接研究する新しいアプローチを提供する。
– 具体的には、ReLUネットワークの計算（アクティベーション領域）と勾配降下の収束との関係に注目し、これらのダイナミクスを信号の空間情報と関連づけてスペクトルバイアスにどのように影響するかについて明確な理解を提供し、座標ベースの環境でのスペクトルバイアスの重度についても調べ、なぜ位置符号化がこれを克服するのかを説明する。

要約(オリジナル)

Spectral bias is an important observation of neural network training, stating that the network will learn a low frequency representation of the target function before converging to higher frequency components. This property is interesting due to its link to good generalization in over-parameterized networks. However, in applications to scene rendering, where multi-layer perceptrons (MLPs) with ReLU activations utilize dense, low dimensional coordinate based inputs, a severe spectral bias occurs that obstructs convergence to high freqeuncy components entirely. In order to overcome this limitation, one can encode the inputs using high frequency sinusoids. Previous works attempted to explain both spectral bias and its severity in the coordinate based regime using Neural Tangent Kernel (NTK) and Fourier analysis. However, such methods come with various limitations, since NTK does not capture real network dynamics, and Fourier analysis only offers a global perspective on the frequency components of the network. In this paper, we provide a novel approach towards understanding spectral bias by directly studying ReLU MLP training dynamics, in order to gain further insight on the properties that induce this behavior in the real network. Specifically, we focus on the connection between the computations of ReLU networks (activation regions), and the convergence of gradient descent. We study these dynamics in relation to the spatial information of the signal to provide a clearer understanding as to how they influence spectral bias, which has yet to be demonstrated. Additionally, we use this formulation to further study the severity of spectral bias in the coordinate based setting, and why positional encoding overcomes this.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI