Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model

要約

機械学習モデルは、DP-SGD などの差分プライベート オプティマイザーを介して、正式なプライバシー保証を使用してトレーニングできます。
この研究では、攻撃者が最終モデルにのみアクセスでき、中間の更新を認識できない脅威モデルに焦点を当てています。
文献によれば、この隠れた状態の脅威モデルは、経験的なプライバシー監査による下限と、プライバシー会計によって提供される理論的な上限との間に大きなギャップがあることを示しています。
このギャップに挑戦するために、中間更新に依存せずに最終モデルのプライバシー損失を最大化するように設計された \emph{勾配シーケンスを作成する}攻撃者を使用してこの脅威モデルを監査することを提案します。
私たちの実験は、このアプローチが隠れ状態モデルを監査する以前の試みよりも一貫して優れていることを示しています。
さらに、私たちの結果は、この脅威モデル内で達成可能なプライバシー保証についての理解を深めます。
具体的には、作成された勾配が最適化ステップごとに挿入される場合、DP-SGD で中間モデルの更新を隠蔽してもプライバシーが強化されないことを示します。
作成されたグラデーションがすべてのステップで挿入されない場合、状況はより複雑になります。監査の下限は、敵対的に選択された損失状況と十分に大きなバッチ サイズの場合にのみ、プライバシーの上限と一致します。
これは、既存のプライバシーの上限が特定の体制では改善できることを示唆しています。

要約(オリジナル)

Machine learning models can be trained with formal privacy guarantees via differentially private optimizers such as DP-SGD. In this work, we focus on a threat model where the adversary has access only to the final model, with no visibility into intermediate updates. In the literature, this hidden state threat model exhibits a significant gap between the lower bound from empirical privacy auditing and the theoretical upper bound provided by privacy accounting. To challenge this gap, we propose to audit this threat model with adversaries that \emph{craft a gradient sequence} designed to maximize the privacy loss of the final model without relying on intermediate updates. Our experiments show that this approach consistently outperforms previous attempts at auditing the hidden state model. Furthermore, our results advance the understanding of achievable privacy guarantees within this threat model. Specifically, when the crafted gradient is inserted at every optimization step, we show that concealing the intermediate model updates in DP-SGD does not amplify privacy. The situation is more complex when the crafted gradient is not inserted at every step: our auditing lower bound matches the privacy upper bound only for an adversarially-chosen loss landscape and a sufficiently large batch size. This suggests that existing privacy upper bounds can be improved in certain regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google