Generalization Error Bounds for Noisy, Iterative Algorithms via Maximal Leakage

要約

情報理論のフレームワークを採用して、ノイズの多い反復学習アルゴリズムのクラスの一般化動作を分析します。
このクラスは、アルゴリズムが本質的にランダム化されているため、情報理論メトリクスの研究に特に適しており、確率的勾配ランジュバン ダイナミクス (SGLD) などの一般的に使用されるアルゴリズムが含まれています。
ここでは、分析が簡単であり、大きな汎化誤差が発生する確率とその期待値の両方の限界を意味するため、最大漏洩 (同等、次数無限大のシブソン相互情報量) メトリックを使用します。
更新関数 (勾配など) が $L_2$-norm で制限され、加算ノイズが等方性ガウス ノイズである場合、半閉形式で最大漏れの上限を取得できることを示します。
さらに、更新関数の仮定がノイズの最適な (誘発された最大漏れを最小限に抑えるという意味で) 選択にどのように影響するかを示します。
最後に、対象となる他のシナリオについて、誘発された最大漏れに関する明示的な厳密な上限を計算します。

要約(オリジナル)

We adopt an information-theoretic framework to analyze the generalization behavior of the class of iterative, noisy learning algorithms. This class is particularly suitable for study under information-theoretic metrics as the algorithms are inherently randomized, and it includes commonly used algorithms such as Stochastic Gradient Langevin Dynamics (SGLD). Herein, we use the maximal leakage (equivalently, the Sibson mutual information of order infinity) metric, as it is simple to analyze, and it implies both bounds on the probability of having a large generalization error and on its expected value. We show that, if the update function (e.g., gradient) is bounded in $L_2$-norm and the additive noise is isotropic Gaussian noise, then one can obtain an upper-bound on maximal leakage in semi-closed form. Furthermore, we demonstrate how the assumptions on the update function affect the optimal (in the sense of minimizing the induced maximal leakage) choice of the noise. Finally, we compute explicit tight upper bounds on the induced maximal leakage for other scenarios of interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google