The Power of Random Features and the Limits of Distribution-Free Gradient Descent

要約

パラメトリックモデルの勾配ベースの最適化（たとえば、ニューラルネットワーク）とランダム機能の線形組み合わせの最適化との関係を研究します。
私たちの主な結果は、データ分布について仮定せずにミニバッチ確率勾配降下（BSGD）を使用してパラメトリックモデルを学習できる場合、高い確率で、ターゲット関数はランダムな特徴の多項式サイズの組み合わせを使用して近似できることを示しています。
この組み合わせのサイズは、勾配ステップの数とBSGDプロセスで使用される数値精度に依存します。
この発見は、勾配降下によって訓練されたニューラルネットワークにおける分布のない学習の基本的な制限を明らかにし、データ分布について仮定を行うことが実際に重要である理由を強調しています。
途中で、Kamath et al。
（2020）。
ADCは統計クエリディメンションと多項式関係があることを証明し、この関係を使用して、ADCと標準ディメンションの複雑さの間の無限の分離を実証します。

要約(オリジナル)

We study the relationship between gradient-based optimization of parametric models (e.g., neural networks) and optimization of linear combinations of random features. Our main result shows that if a parametric model can be learned using mini-batch stochastic gradient descent (bSGD) without making assumptions about the data distribution, then with high probability, the target function can also be approximated using a polynomial-sized combination of random features. The size of this combination depends on the number of gradient steps and numerical precision used in the bSGD process. This finding reveals fundamental limitations of distribution-free learning in neural networks trained by gradient descent, highlighting why making assumptions about data distributions is often crucial in practice. Along the way, we also introduce a new theoretical framework called average probabilistic dimension complexity (adc), which extends the probabilistic dimension complexity developed by Kamath et al. (2020). We prove that adc has a polynomial relationship with statistical query dimension, and use this relationship to demonstrate an infinite separation between adc and standard dimension complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google