Why Shallow Networks Struggle to Approximate and Learn High Frequencies

要約

本論文では、特に機械精度、数値ノイズ、計算コストが実用上重要な要素である場合に、2層ニューラルネットワークが近似と学習の両方で高周波数の取り扱いに苦戦する理由を説明するために、数学的分析と計算分析を組み合わせた包括的な研究を発表する。具体的には、(1)有限精度の下で達成可能な最小の数値誤差、(2)与えられた精度を達成するのに必要な計算コスト、(3)摂動に対する手法の安定性、といった基本的な計算問題を調査する。我々の分析の核心は、表現の条件付けとその学習ダイナミクスにある。これらの疑問に対する明確な答えを、数値的な裏付けとともに提供する。

要約(オリジナル)

In this work, we present a comprehensive study combining mathematical and computational analysis to explain why a two-layer neural network struggles to handle high frequencies in both approximation and learning, especially when machine precision, numerical noise, and computational cost are significant factors in practice. Specifically, we investigate the following fundamental computational issues: (1) the minimal numerical error achievable under finite precision, (2) the computational cost required to attain a given accuracy, and (3) the stability of the method with respect to perturbations. The core of our analysis lies in the conditioning of the representation and its learning dynamics. Explicit answers to these questions are provided, along with supporting numerical evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL