Covering Number of Real Algebraic Varieties and Beyond: Improved Bounds and Applications

要約

数字をカバーすることは、近似アルゴリズム、ランダム化された寸法削減方法、平滑化された複雑さ分析などの開発に使用される強力なツールです。
この論文では、ユークリッド空間の多数のセットのカバー数、すなわち実際の代数品種、多項式マップの画像、および関係する多項式の変数の数と程度の点での画像の上限を証明します。
この境界は、ヨムディン・コムテによって最もよく知られている一般を著しく改善し、私たちの証拠ははるかに簡単です。
特に、私たちの結果は、多項式マップの画像と半自由セットの管状近傍の体積に新しい境界を与えます。ロッツとバス・ララリオの品種の結果は直接適用されません。
結果のパワーを3つの計算アプリケーションで説明します。
第一に、低カノニカルポリアディック（CP）ランクのテンソルのカバー数にほぼ最適な境界を導き出し、近似特性を定量化し、テンソル寸法の削減と再建のための重要な欠落した理論を埋めます。
第二に、ランダム化されたスケッチを介して多項式マップの画像の次元削減に縛られていることを証明します。これは、大規模な多項式最適化に直接適用されます。
最後に、合理的またはrelu活性化機能を備えた深いニューラルネットワークの一般化エラー境界を推測し、機械学習の文献で最も既知の結果を改善または一致させながら、一般化エラーに対するアーキテクチャの選択の影響を定量化するのに役立ちます。

要約(オリジナル)

Covering numbers are a powerful tool used in the development of approximation algorithms, randomized dimension reduction methods, smoothed complexity analysis, and others. In this paper we prove upper bounds on the covering number of numerous sets in Euclidean space, namely real algebraic varieties, images of polynomial maps and semialgebraic sets in terms of the number of variables and degrees of the polynomials involved. The bounds remarkably improve the best known general bound by Yomdin-Comte, and our proof is much more straightforward. In particular, our result gives new bounds on the volume of the tubular neighborhood of the image of a polynomial map and a semialgebraic set, where results for varieties by Lotz and Basu-Lerario are not directly applicable. We illustrate the power of the result on three computational applications. Firstly, we derive a near-optimal bound on the covering number of tensors with low canonical polyadic (CP) rank, quantifying their approximation properties and filling in an important missing piece of theory for tensor dimension reduction and reconstruction. Secondly, we prove a bound on dimensionality reduction of images of polynomial maps via randomized sketching, which has direct applications to large scale polynomial optimization. Finally, we deduce generalization error bounds for deep neural networks with rational or ReLU activation functions, improving or matching the best known results in the machine learning literature while helping to quantify the impact of architecture choice on generalization error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google