Conditional regression for the Nonlinear Single-Variable Model

要約

統計的および計算上の次元性の呪いなしに $\mathbb{R}^d$ 上の関数 $F$ を回帰するためのいくつかの統計モデルが存在します。たとえば、データの分布に幾何学的な仮定を課して利用することによって (たとえば、そのサポート
は低次元)、または $F$ に対する強力な滑らかさの仮定、または特殊な構造 $F$ です。
後者の中で、組成モデルは $F=f\circ g$ を仮定しており、$g$ は $r\ll d$ を使用して $\mathbb{R}^r$ にマッピングされており、研究されており、古典的な単一モデルと複数モデルが含まれます。
インデックス モデルとニューラル ネットワークに関する最近の研究。
$g$ が線形である場合はかなりよく理解されていますが、$g$ が非線形である場合、特に $g$ が $F$ または $f の両方を推定する際に次元の呪いとなる場合はあまり知られていません。
$ と $g$ は回避される可能性があります。
この論文では、モデル $F(X):=f(\Pi_\gamma X) $ where $\Pi_\gamma:\mathbb{R}^d\to[0,\rm{len}_\ を検討します。
gamma]$ は、正則曲線 $\gamma: [0,\rm{len}_\gamma]\to\mathbb{R}^d$ および $f:[0,\ のパラメータへの最近接点射影です。
rm{len}_\gamma]\to\mathbb{R}^1$。
入力データ $X$ は、$\Pi_\gamma(X)$ が明確に定義されていることを条件として、$\gamma$ とは程遠く、低次元ではありません。
データ $\gamma$ と $f$ の分布は不明です。
このモデルは単一インデックス モデルの自然な非線形一般化であり、$\gamma$ が直線に相当します。
条件付き回帰に基づくノンパラメトリック推定量を提案し、$f$ が粗く単調であるという適切な仮定の下で、非パラメトリック推定量が $one$-$次元$ 最適な最小-最大レートを達成できることを示します。
パラメトリック回帰は、観測値のノイズのレベルまで、$\mathcal{O}(d^2n\log n)$ の時間内に構築されます。
学習範囲、範囲を維持するために必要な最小限のサンプル数、および計算の複雑さのすべての定数は、$d$ の低次の多項式にすぎません。

要約(オリジナル)

Several statistical models for regression of a function $F$ on $\mathbb{R}^d$ without the statistical and computational curse of dimensionality exist, for example by imposing and exploiting geometric assumptions on the distribution of the data (e.g. that its support is low-dimensional), or strong smoothness assumptions on $F$, or a special structure $F$. Among the latter, compositional models assume $F=f\circ g$ with $g$ mapping to $\mathbb{R}^r$ with $r\ll d$, have been studied, and include classical single- and multi-index models and recent works on neural networks. While the case where $g$ is linear is rather well-understood, much less is known when $g$ is nonlinear, and in particular for which $g$’s the curse of dimensionality in estimating $F$, or both $f$ and $g$, may be circumvented. In this paper, we consider a model $F(X):=f(\Pi_\gamma X) $ where $\Pi_\gamma:\mathbb{R}^d\to[0,\rm{len}_\gamma]$ is the closest-point projection onto the parameter of a regular curve $\gamma: [0,\rm{len}_\gamma]\to\mathbb{R}^d$ and $f:[0,\rm{len}_\gamma]\to\mathbb{R}^1$. The input data $X$ is not low-dimensional, far from $\gamma$, conditioned on $\Pi_\gamma(X)$ being well-defined. The distribution of the data, $\gamma$ and $f$ are unknown. This model is a natural nonlinear generalization of the single-index model, which corresponds to $\gamma$ being a line. We propose a nonparametric estimator, based on conditional regression, and show that under suitable assumptions, the strongest of which being that $f$ is coarsely monotone, it can achieve the $one$-$dimensional$ optimal min-max rate for non-parametric regression, up to the level of noise in the observations, and be constructed in time $\mathcal{O}(d^2n\log n)$. All the constants in the learning bounds, in the minimal number of samples required for our bounds to hold, and in the computational complexity are at most low-order polynomials in $d$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google