On Memorization and Privacy Risks of Sharpness Aware Minimization

要約

多くの最近の研究では、ニューラルネットワークの損失最適化において、より平坦な最適値を求めるアルゴリズムの設計に焦点が当てられている。この研究では、オーバーパラメータ化されたモデルにおけるデータの記憶というレンズを通して、これらの性能向上を解剖する。我々は、バニラSGDと比較して、より平坦な最適値を求めるアルゴリズムが、具体的にどのデータポイントでより良い結果を得られるかを特定するのに役立つ新しい指標を定義する。シャープネスを考慮した最小化(SAM)によって達成される汎化利得は、暗記が必要な非定型データ点に対して特に顕著であることを発見する。この洞察は、SAMに関連する高いプライバシーリスクを明らかにするのに役立つ。最後に、より望ましい精度対プライバシーのトレードオフを達成するための緩和戦略を提案する。

要約(オリジナル)

In many recent works, there is an increased focus on designing algorithms that seek flatter optima for neural network loss optimization as there is empirical evidence that it leads to better generalization performance in many datasets. In this work, we dissect these performance gains through the lens of data memorization in overparameterized models. We define a new metric that helps us identify which data points specifically do algorithms seeking flatter optima do better when compared to vanilla SGD. We find that the generalization gains achieved by Sharpness Aware Minimization (SAM) are particularly pronounced for atypical data points, which necessitate memorization. This insight helps us unearth higher privacy risks associated with SAM, which we verify through exhaustive empirical evaluations. Finally, we propose mitigation strategies to achieve a more desirable accuracy vs privacy tradeoff.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL