Clipped SGD Algorithms for Performative Prediction: Tight Bounds for Clipping Bias and Remedies

要約

このホワイトペーパーでは、意思決定依存データ分布を備えたクリップ確率的勾配降下（SGD）アルゴリズムの収束について説明します。
私たちの設定は、予測モデルが将来の結果に影響を与える可能性のあるパフォーマンスデータと相互作用する最適化アルゴリズムを保存するプライバシーを維持することによって動機付けられています。
この困難な設定には、分布シフトによる非滑らかなクリッピングオペレーターと非勾配のダイナミクスが含まれます。
クリップされたSGDアルゴリズムを使用して、パフォーマンスの安定したソリューションを求めて2つの貢献をします。
まず、PCSGDが安定した溶液に到達するのを防ぐクリッピング演算子によって引き起こされる、予測されたクリップSGD（PCSGD）アルゴリズムを使用して、クリッピングバイアスを特徴付けます。
損失関数が強く凸状である場合、このクリッピングバイアスの下限と上限を定量化し、データ分布の感度を備えたバイアス増幅現象を示します。
損失関数が非凸の場合、定常性のバイアスの大きさをバインドします。
第二に、PCSGDの最適なステップサイズ設計を利用するか、最近のDicesGDアルゴリズム[Zhang et al。、2024]を適用することにより、バイアスを軽減する救済策を提案します。
また、私たちの分析は、後者のアルゴリズムがパフォーマンスの設定でバイアスを切り取らないことを示すために拡張されています。
数値実験では、調査結果を検証します。

要約(オリジナル)

This paper studies the convergence of clipped stochastic gradient descent (SGD) algorithms with decision-dependent data distribution. Our setting is motivated by privacy preserving optimization algorithms that interact with performative data where the prediction models can influence future outcomes. This challenging setting involves the non-smooth clipping operator and non-gradient dynamics due to distribution shifts. We make two contributions in pursuit for a performative stable solution using clipped SGD algorithms. First, we characterize the clipping bias with projected clipped SGD (PCSGD) algorithm which is caused by the clipping operator that prevents PCSGD from reaching a stable solution. When the loss function is strongly convex, we quantify the lower and upper bounds for this clipping bias and demonstrate a bias amplification phenomenon with the sensitivity of data distribution. When the loss function is non-convex, we bound the magnitude of stationarity bias. Second, we propose remedies to mitigate the bias either by utilizing an optimal step size design for PCSGD, or to apply the recent DiceSGD algorithm [Zhang et al., 2024]. Our analysis is also extended to show that the latter algorithm is free from clipping bias in the performative setting. Numerical experiments verify our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google