Sharp Rates in Dependent Learning Theory: Avoiding Sample Size Deflation for the Square Loss

要約

この研究では、$\Psi_p$ がノルムである仮説クラス $\mathscr{F}\subset L_{\Psi_p}$ における依存 ($\beta$-mixing) データと二乗損失による統計学習を研究します $\
|f\|_{\Psi_p} \triangleq \sup_{m\geq 1} m^{-1/p} \|f\|_{L^m} $ for some $p\in [2,\infty
]$。
私たちの調査は、依存データを使用した学習におけるシャープなノイズ相互作用項、または分散プロキシの検索によって動機付けられています。
実現可能性の仮定が存在しない場合、典型的な非漸近的な結果は、基礎となる共変量プロセスの混合時間によって \emph{乗法的に} 収縮する分散代理を示します。
$L^2$ と $\Psi_p$ のトポロジーが仮説クラス $\mathscr{F}$ で比較できる場合は常に、つまり $\mathscr{F}$ が弱サブガウス クラスであることを示します。
一部の $\eta\in (0,1]$ に対する $\|f\|_{\Psi_p} \lesssim \|f\|_{L^2}^\eta$ — 経験的リスク最小化ツールは、ある率を達成します
これは、クラスの複雑さとその主要項の 2 次統計にのみ依存します。私たちの結果は、問題が実現可能かどうかを保持しており、混合に直接依存するため、これを \emph{混合フリーに近い割合} と呼びます。
は加法高次項に追いやられます. 弱いサブガウスクラスの上記の概念と混合末尾ジェネリック連鎖を組み合わせることによって結果に到達しました. この組み合わせにより, 幅広い問題に対して鋭いインスタンス最適レートを計算することができます.
混合末尾ジェネリック チェーンに依存する%私たちのアプローチにより、鋭いインスタンス最適レートを取得できます。私たちのフレームワークを満たす例には、サブガウス線形回帰、より一般的な滑らかにパラメーター化された関数クラス、有限仮説クラス、および有界平滑度クラスが含まれます。
。

要約(オリジナル)

In this work, we study statistical learning with dependent ($\beta$-mixing) data and square loss in a hypothesis class $\mathscr{F}\subset L_{\Psi_p}$ where $\Psi_p$ is the norm $\|f\|_{\Psi_p} \triangleq \sup_{m\geq 1} m^{-1/p} \|f\|_{L^m} $ for some $p\in [2,\infty]$. Our inquiry is motivated by the search for a sharp noise interaction term, or variance proxy, in learning with dependent data. Absent any realizability assumption, typical non-asymptotic results exhibit variance proxies that are deflated \emph{multiplicatively} by the mixing time of the underlying covariates process. We show that whenever the topologies of $L^2$ and $\Psi_p$ are comparable on our hypothesis class $\mathscr{F}$ — that is, $\mathscr{F}$ is a weakly sub-Gaussian class: $\|f\|_{\Psi_p} \lesssim \|f\|_{L^2}^\eta$ for some $\eta\in (0,1]$ — the empirical risk minimizer achieves a rate that only depends on the complexity of the class and second order statistics in its leading term. Our result holds whether the problem is realizable or not and we refer to this as a \emph{near mixing-free rate}, since direct dependence on mixing is relegated to an additive higher order term. We arrive at our result by combining the above notion of a weakly sub-Gaussian class with mixed tail generic chaining. This combination allows us to compute sharp, instance-optimal rates for a wide range of problems. %Our approach, reliant on mixed tail generic chaining, allows us to obtain sharp, instance-optimal rates. Examples that satisfy our framework include sub-Gaussian linear regression, more general smoothly parameterized function classes, finite hypothesis classes, and bounded smoothness classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google