Addressing Spectral Bias of Deep Neural Networks by Multi-Grade Deep Learning

要約

ディープ ニューラル ネットワーク (DNN) はスペクトル バイアスに悩まされており、DNN は通常、関数の低周波成分の学習を優先する傾向があり、高周波の特徴を捕捉するのに苦労します。
この文書はこの問題に対処するものです。
低周波成分のみを持つ関数は、少数の層しか持たないネットワークであるシャロー ニューラル ネットワーク (SNN) によって適切に表現できる場合があることに注意してください。
低周波関数の合成が高周波関数を効果的に近似できることを観察することにより、それぞれが与えられたデータから特定の低周波情報を学習する複数の SNN を合成することにより、高周波成分を含む関数を学習することを提案します。
提案されたアイデアは、マルチグレード ディープ ラーニング (MGDL) モデルを利用して実装されます。MGDL モデルは、DNN を学年ごとに段階的にトレーニングし、前の学年の残りから現在の学年を学習し、SNN で構成された SNN のみを学習する最近導入されたモデルです。
前の学年で特徴として訓練されました。
MGDL を合成、多様体、カラー画像、および MNIST データセットに適用します。これらはすべて、高周波特徴の存在によって特徴付けられます。
私たちの調査では、MGDL が高周波情報を含む関数の表現に優れていることが明らかになりました。
具体的には、各学年で学習したニューラル ネットワークは一部の低周波情報を適切に捕捉し、前の学年で学習した SNN と組み合わせて高周波の特徴を効果的に表現することができます。
私たちの実験結果は、DNN に固有のスペクトル バイアスに対処する際の MGDL の有効性を強調しています。
MGDL を活用することで、DNN のスペクトル バイアス制限を克服するための洞察を提供し、それによって高周波情報の表現を必要とするタスクにおける深層学習モデルのパフォーマンスと適用性を強化します。
この研究は、提案された方法が DNN のスペクトル バイアスに対処するための有望な解決策を提供することを確認しています。

要約(オリジナル)

Deep neural networks (DNNs) suffer from the spectral bias, wherein DNNs typically exhibit a tendency to prioritize the learning of lower-frequency components of a function, struggling to capture its high-frequency features. This paper is to address this issue. Notice that a function having only low frequency components may be well-represented by a shallow neural network (SNN), a network having only a few layers. By observing that composition of low frequency functions can effectively approximate a high-frequency function, we propose to learn a function containing high-frequency components by composing several SNNs, each of which learns certain low-frequency information from the given data. We implement the proposed idea by exploiting the multi-grade deep learning (MGDL) model, a recently introduced model that trains a DNN incrementally, grade by grade, a current grade learning from the residue of the previous grade only an SNN composed with the SNNs trained in the preceding grades as features. We apply MGDL to synthetic, manifold, colored images, and MNIST datasets, all characterized by presence of high-frequency features. Our study reveals that MGDL excels at representing functions containing high-frequency information. Specifically, the neural networks learned in each grade adeptly capture some low-frequency information, allowing their compositions with SNNs learned in the previous grades effectively representing the high-frequency features. Our experimental results underscore the efficacy of MGDL in addressing the spectral bias inherent in DNNs. By leveraging MGDL, we offer insights into overcoming spectral bias limitation of DNNs, thereby enhancing the performance and applicability of deep learning models in tasks requiring the representation of high-frequency information. This study confirms that the proposed method offers a promising solution to address the spectral bias of DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google