Differentially Private CutMix for Split Learning with Vision Transformer

要約

最近、ビジョン トランスフォーマー (ViT) は、コンピューター ビジョン タスクにおいて従来の CNN を凌駕し始めています。
ViT によるプライバシー保護分散学習を考慮すると、フェデレーテッド ラーニング (FL) はモデルを伝達しますが、ViT の大きなモデル サイズとコンピューティング コストのために、これは不適切になります。
分割学習 (SL) は、破砕データをカットレイヤーで通信することでこれを迂回しますが、ViT の破砕データと入力データの類似性が高いため、データのプライバシー漏洩や通信コストが大きくなります。
この問題に動機付けられて、DP パッチ レベルのランダム化された CutMix (DP-CutMix) を開発することにより、差分プライベート (DP) SL フレームワークである DP-CutMixSL を提案します。
データ。
実験により、DP-CutMixSL はプライバシー保証と通信効率を高めるだけでなく、バ​​ニラ SL よりも高い精度を達成することが示されています。
理論的には、DP-CutMix が R\’enyi DP (RDP) を増幅することを分析します。R\’enyi DP (RDP) は、対応する Vanilla Mixup によって上限があります。

要約(オリジナル)

Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT’ s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT’ s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies R\’enyi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google