Complexity of Vector-valued Prediction: From Linear Models to Stochastic Convex Optimization

要約

ベクトル値の線形予測子の学習の問題を研究します。これらは、$m$ 次元の特徴ベクトルを $k$ 次元のターゲットにマッピングする行列によってパラメーター化された予測ルールです。
我々は、凸損失関数とリプシッツ損失関数を伴う基本的なケースに焦点を当て、この問題の複雑さと関連する学習モデルとの関係を明らかにするいくつかの新しい理論的結果を示します。
まず、この設定における経験的リスク最小化 (ERM) のサンプルの複雑さを厳密に特徴付けし、ERM が
$\epsilon$ 過剰（人口）リスクに達する。
これは、ターゲット次元 $k$ への依存性の点で、Magen and Shamir (2023) による最近の結果に比べて指数関数的な改善をもたらし、Maurer (2016) による古典的な上限と一致します。
次に、一般的な $d$ 次元の確率的凸最適化 (SCO) からベクトル値の線形予測へのブラック ボックス変換を示し、任意の SCO 問題が $k=\Theta(d) の予測問題として埋め込まれることを示します。
$ が出力されます。
これらの結果は、線形モデル ($k=1$ に対応) と一般的な $d$ 次元 SCO ($k=\Theta(d
)$)。

要約(オリジナル)

We study the problem of learning vector-valued linear predictors: these are prediction rules parameterized by a matrix that maps an $m$-dimensional feature vector to a $k$-dimensional target. We focus on the fundamental case with a convex and Lipschitz loss function, and show several new theoretical results that shed light on the complexity of this problem and its connection to related learning models. First, we give a tight characterization of the sample complexity of Empirical Risk Minimization (ERM) in this setting, establishing that $\smash{\widetilde{\Omega}}(k/\epsilon^2)$ examples are necessary for ERM to reach $\epsilon$ excess (population) risk; this provides for an exponential improvement over recent results by Magen and Shamir (2023) in terms of the dependence on the target dimension $k$, and matches a classical upper bound due to Maurer (2016). Second, we present a black-box conversion from general $d$-dimensional Stochastic Convex Optimization (SCO) to vector-valued linear prediction, showing that any SCO problem can be embedded as a prediction problem with $k=\Theta(d)$ outputs. These results portray the setting of vector-valued linear prediction as bridging between two extensively studied yet disparate learning models: linear models (corresponds to $k=1$) and general $d$-dimensional SCO (with $k=\Theta(d)$).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google