Online Sensitivity Optimization in Differentially Private Learning

要約

差分プライベート機械学習モデルをトレーニングするには、最適化プロセスへの個人の貢献を制限する必要があります。
これは、平均化とバッチサニタイズの前に、勾配の $2$ ノルムを所定のしきい値でクリップすることによって実現されます。
この選択は、2 つの相反する形で最適化に悪影響を及ぼします。低い値では過度のクリッピングによるバイアスが悪化するか、高い値ではサニタイズ ノイズが増大します。
選択はデータセット、モデル アーキテクチャなどの要素に大きく依存し、同じ最適化内でも変化するため、通常はグリッド検索を通じて達成される細心の調整が必要になります。
ハイパーパラメータ調整で発生するプライバシー費用を回避するために、クリッピングしきい値を動的に最適化する新しいアプローチを紹介します。
このしきい値を追加の学習可能なパラメーターとして扱い、しきい値とコスト関数の間に明確な関係を確立します。
これにより、プライバシー分析全体への影響を最小限に抑えながら、勾配降下法を使用して前者を最適化することができます。
私たちの手法は、さまざまなデータセット、タスク、モデルの次元、プライバシー レベルにわたって、代替の固定戦略と適応戦略に照らして徹底的に評価されています。
私たちの結果は、同じプライバシー要件を前提として、評価されたシナリオで同等以上のパフォーマンスを発揮することを示しています。

要約(オリジナル)

Training differentially private machine learning models requires constraining an individual’s contribution to the optimization process. This is achieved by clipping the $2$-norm of their gradient at a predetermined threshold prior to averaging and batch sanitization. This selection adversely influences optimization in two opposing ways: it either exacerbates the bias due to excessive clipping at lower values, or augments sanitization noise at higher values. The choice significantly hinges on factors such as the dataset, model architecture, and even varies within the same optimization, demanding meticulous tuning usually accomplished through a grid search. In order to circumvent the privacy expenses incurred in hyperparameter tuning, we present a novel approach to dynamically optimize the clipping threshold. We treat this threshold as an additional learnable parameter, establishing a clean relationship between the threshold and the cost function. This allows us to optimize the former with gradient descent, with minimal repercussions on the overall privacy analysis. Our method is thoroughly assessed against alternative fixed and adaptive strategies across diverse datasets, tasks, model dimensions, and privacy levels. Our results indicate that it performs comparably or better in the evaluated scenarios, given the same privacy requirements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google