要約
私たちは、ハイパーパラメータ調整における差分プライバシー (DP) の保証の問題を研究します。これは、いくつかの実行から最適な実行を選択することを含む機械学習の重要なプロセスです。
普及している DP-SGD を含む多くのプライベート アルゴリズムとは異なり、チューニングによるプライバシーへの影響は依然として十分に理解されていません。
最近の研究では、チューニング プロセスのための一般的なプライベート ソリューションが提案されていますが、根本的な疑問が依然として残ります。つまり、このソリューションに対する現在のプライバシーの制限は厳しいのでしょうか?
この文書は、この質問に対する肯定的な答えと否定的な答えの両方に貢献します。
まず、現在のプライバシー分析が一般的な意味で厳密であることを確認する研究を提供します。
しかし、ハイパーパラメータ調整問題を具体的に研究すると、そのような厳密さはもはや当てはまりません。
これは、チューニング プロセスにプライバシー監査を適用することで初めて実証されます。
私たちの調査結果は、現在の理論上のプライバシー限界と、最も強力な監査設定の下でも導き出される経験的な限界との間に大きなギャップがあることを強調しています。
発見されたギャップはまぐれではありません。
私たちのその後の研究では、その独特の特性により、プライベート ハイパーパラメータ調整のプライバシーに関する改善された結果が得られました。
また、プライバシーに関する結果は、特定の設定でのみ簡単に適用できる以前の分析と比較して、より一般化可能です。
要約(オリジナル)
We study the problem of guaranteeing Differential Privacy (DP) in hyper-parameter tuning, a crucial process in machine learning involving the selection of the best run from several. Unlike many private algorithms, including the prevalent DP-SGD, the privacy implications of tuning remain insufficiently understood. Recent works propose a generic private solution for the tuning process, yet a fundamental question still persists: is the current privacy bound for this solution tight? This paper contributes both positive and negative answers to this question. Initially, we provide studies affirming the current privacy analysis is indeed tight in a general sense. However, when we specifically study the hyper-parameter tuning problem, such tightness no longer holds. This is first demonstrated by applying privacy audit on the tuning process. Our findings underscore a substantial gap between the current theoretical privacy bound and the empirical bound derived even under the strongest audit setup. The gap found is not a fluke. Our subsequent study provides an improved privacy result for private hyper-parameter tuning due to its distinct properties. Our privacy results are also more generalizable compared to prior analyses that are only easily applicable in specific setups.
arxiv情報
| 著者 | Zihang Xiang,Chenglong Wang,Di Wang |
| 発行日 | 2024-02-20 15:29:49+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google