Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization

要約

この研究では、\emph{確率的凸最適化} (SCO) の文脈における記憶と学習の間の相互作用を調査します。
学習アルゴリズムがトレーニング データ ポイントについて明らかにする情報によって記憶を定義します。
次に、Steinke と Zakynthinou (2020) によって提案された条件付き相互情報量 (CMI) のフレームワークを使用して、この情報を定量化します。
私たちの主な結果は、学習アルゴリズムの精度とその CMI の間のトレードオフを正確に特徴付け、Livni (2023) によって提起された未解決の質問に答えたものです。
$L^2$ Lipschitz の有界設定と強い凸性の下では、超過誤差 $\varepsilon$ を持つすべての学習者は、$\Omega(1/\varepsilon^2)$ と $ によって下限される CMI を持つことを示します。
それぞれ \Omega(1/\varepsilon)$ です。
さらに、特定の SCO 問題におけるトレーニング サンプルの重要な部分を正確に識別できる攻撃者を設計することにより、SCO における学習問題における暗記の重要な役割を実証します。
最後に、CMI に基づく汎化限界の制限や SCO 問題におけるサンプルの非圧縮性など、結果のいくつかの意味を列挙します。

要約(オリジナル)

In this work, we investigate the interplay between memorization and learning in the context of \emph{stochastic convex optimization} (SCO). We define memorization via the information a learning algorithm reveals about its training data points. We then quantify this information using the framework of conditional mutual information (CMI) proposed by Steinke and Zakynthinou (2020). Our main result is a precise characterization of the tradeoff between the accuracy of a learning algorithm and its CMI, answering an open question posed by Livni (2023). We show that, in the $L^2$ Lipschitz–bounded setting and under strong convexity, every learner with an excess error $\varepsilon$ has CMI bounded below by $\Omega(1/\varepsilon^2)$ and $\Omega(1/\varepsilon)$, respectively. We further demonstrate the essential role of memorization in learning problems in SCO by designing an adversary capable of accurately identifying a significant fraction of the training samples in specific SCO problems. Finally, we enumerate several implications of our results, such as a limitation of generalization bounds based on CMI and the incompressibility of samples in SCO problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google