Differentially Private Optimization for Non-Decomposable Objective Functions

要約

監視されていない事前トレーニングは、コンピュータービジョンモデルと大規模な言語モデルの開発における一般的なステップです。
この設定では、ラベルが存在しないため、類似の入力間の距離を最小限に抑え、異なる入力間の距離を最大化することを好む、対照的な損失などの類似性ベースの損失関数を使用する必要があります。
プライバシーが懸念するにつれて、プライバシーの差を使用してこれらのモデルをトレーニングすることがより重要になりました。
ただし、これらの損失の入力がどのように生成されるかにより、望ましくない特性の1つは、$ L_2 $の感度がバッチサイズで増加することです。
このプロパティは、DP-SGDなどの差別的なプライベートトレーニング方法では特に不利です。
この問題を克服するために、合計勾配の感度を得るために目的関数の勾配を操作する類似性に基づく損失関数、特に一般的に使用されるコントラスト損失のための新しいDP-SGDバリアントを開発します。
これは、バッチサイズ$ n $の$ o（1）$です。
一部のCIFAR-10プリトレーニングおよびCIFAR-100の微調整タスクでDP-SGDバリアントをテストし、両方のタスクで、私たちの方法のパフォーマンスは非プリブモデルのパフォーマンスに近づき、一般的にDP-SGDを直接上回ることを示します。
対照的な損失に。

要約(オリジナル)

Unsupervised pre-training is a common step in developing computer vision models and large language models. In this setting, the absence of labels requires the use of similarity-based loss functions, such as contrastive loss, that favor minimizing the distance between similar inputs and maximizing the distance between distinct inputs. As privacy concerns mount, training these models using differential privacy has become more important. However, due to how inputs are generated for these losses, one of their undesirable properties is that their $L_2$ sensitivity grows with the batch size. This property is particularly disadvantageous for differentially private training methods, such as DP-SGD. To overcome this issue, we develop a new DP-SGD variant for similarity based loss functions — in particular, the commonly-used contrastive loss — that manipulates gradients of the objective function in a novel way to obtain a sensitivity of the summed gradient that is $O(1)$ for batch size $n$. We test our DP-SGD variant on some CIFAR-10 pre-training and CIFAR-100 finetuning tasks and show that, in both tasks, our method’s performance comes close to that of a non-private model and generally outperforms DP-SGD applied directly to the contrastive loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google