Differential Privacy Mechanisms in Neural Tangent Kernel Regression

要約

トレーニング データのプライバシーは、顔認識、レコメンデーション システム、言語生成などの最新の人工知能 (AI) アプリケーションにおける基本的な問題であり、法的問題に関連する機密のユーザー情報が含まれている可能性があります。
AI アプリケーションでプライバシー メカニズムがどのように機能するかを根本的に理解するために、ニューラル タンジェント カーネル (NTK) 回帰設定における差分プライバシー (DP) を研究します。DP は統計学習の下でプライバシーを測定するための最も強力なツールの 1 つであり、NTK は
ディープ ニューラル ネットワークの学習メカニズムを研究するための最も一般的な分析フレームワーク。
私たちの研究では、差分プライバシーと NTK 回帰のテスト精度の両方について証明可能な保証を示すことができます。
さらに、基本的な画像分類データセット CIFAR10 で実験を実施し、NTK 回帰が適度なプライバシー予算の下で良好な精度を維持できることを実証し、分析の妥当性を裏付けています。
私たちの知る限り、これは NTK 回帰の DP 保証を提供する最初の研究です。

要約(オリジナル)

Training data privacy is a fundamental problem in modern Artificial Intelligence (AI) applications, such as face recognition, recommendation systems, language generation, and many others, as it may contain sensitive user information related to legal issues. To fundamentally understand how privacy mechanisms work in AI applications, we study differential privacy (DP) in the Neural Tangent Kernel (NTK) regression setting, where DP is one of the most powerful tools for measuring privacy under statistical learning, and NTK is one of the most popular analysis frameworks for studying the learning mechanisms of deep neural networks. In our work, we can show provable guarantees for both differential privacy and test accuracy of our NTK regression. Furthermore, we conduct experiments on the basic image classification dataset CIFAR10 to demonstrate that NTK regression can preserve good accuracy under a modest privacy budget, supporting the validity of our analysis. To our knowledge, this is the first work to provide a DP guarantee for NTK regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google