Exploring the Benefits of Visual Prompting in Differential Privacy

要約

ビジュアル プロンプティング (VP) は、十分にトレーニングされたフリーズ ソース モデルをエンジニアリングすることで、下流のタスクにサンプルを効率的に適応させることを可能にする、新しくて強力な手法です。
この研究では、差分プライバシー (DP) を備えた魅力的なニューラル ネットワーク分類器を構築する際の VP の利点を探ります。
VP を探索して正規の DP トレーニング方法に統合し、そのシンプルさと効率性を実証します。
特に、教師集団からの知識伝達を活用する最先端の DP トレーニング方法である PATE と VP を併用することで、最先端のプライバシーと実用性のトレードオフが達成されることがわかりました。
プライバシー予算の最小限の支出。
さらに、DP における VP の利点をさらに明らかにするために、十分なドメイン ギャップを備えたクロスドメイン画像分類に関する追加の実験を実行します。
最後に、DP を考慮した上で VP の有効性と貢献を検証するために、広範なアブレーション研究も実施しています。
私たちのコードは (https://github.com/EzzzLi/Prompt-PATE) で入手できます。

要約(オリジナル)

Visual Prompting (VP) is an emerging and powerful technique that allows sample-efficient adaptation to downstream tasks by engineering a well-trained frozen source model. In this work, we explore the benefits of VP in constructing compelling neural network classifiers with differential privacy (DP). We explore and integrate VP into canonical DP training methods and demonstrate its simplicity and efficiency. In particular, we discover that VP in tandem with PATE, a state-of-the-art DP training method that leverages the knowledge transfer from an ensemble of teachers, achieves the state-of-the-art privacy-utility trade-off with minimum expenditure of privacy budget. Moreover, we conduct additional experiments on cross-domain image classification with a sufficient domain gap to further unveil the advantage of VP in DP. Lastly, we also conduct extensive ablation studies to validate the effectiveness and contribution of VP under DP consideration. Our code is available at (https://github.com/EzzzLi/Prompt-PATE).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google