Erzeugunsgrad, VC-Dimension and Neural Networks with rational activation function

要約

Erzeugungsgradの概念は、1983年にJoos Heintzによって導入され、定量化除去のプロセスの後に発生する非空白細胞の数を拘束しました。
この概念と、Pardo-sebasti \ ‘an（2022）で定義された構成可能なセットの程度を使用して、Heintz（1983）の定理2の組み合わせ境界を拡張します。
Erzeugungsgradは、構成可能なセットのパラメーター化されたファミリーによって与えられた分類子のファミリーの代数的に閉じたフィールドとVC理論のAffine交差理論を接続するための重要な要素であることを示します。
特に、VC次元とKrull寸法が交差理論に基づいて対数因子に直線的に関連していることを証明します。
この関係を使用して、回避品種の正しいテストシーケンスの密度を研究します。
これらのアイデアを適用して、合理的な活性化関数を備えたニューラルネットワークのパラメーター化されたファミリーを分析します。

要約(オリジナル)

The notion of Erzeugungsgrad was introduced by Joos Heintz in 1983 to bound the number of non-empty cells occurring after a process of quantifier elimination. We extend this notion and the combinatorial bounds of Theorem 2 in Heintz (1983) using the degree for constructible sets defined in Pardo-Sebasti\’an (2022). We show that the Erzeugungsgrad is the key ingredient to connect affine Intersection Theory over algebraically closed fields and the VC-Theory of Computational Learning Theory for families of classifiers given by parameterized families of constructible sets. In particular, we prove that the VC-dimension and the Krull dimension are linearly related up to logarithmic factors based on Intersection Theory. Using this relation, we study the density of correct test sequences in evasive varieties. We apply these ideas to analyze parameterized families of neural networks with rational activation function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google