NanoBatch Privacy: Enabling fast Differentially Private learning on the IPU

要約

差分プライベートSGD（DPSGD）は、最近、深層学習で有望であることが示されています。
ただし、非プライベートSGDと比較すると、DPSGDアルゴリズムでは計算のオーバーヘッドが発生するため、GPUでのバッチ処理のメリットを取り消すことができます。
マイクロバッチ処理はこれを軽減するための一般的な方法であり、TensorFlowプライバシーライブラリ（TFDP）で完全にサポートされています。
ただし、精度が低下します。
バッチサイズ1（マイクロバッチ処理なし）と勾配累積を活用することにより、GraphcoreIPUで使用されるTFDPへの軽量アドオンであるNanoBatchプライバシーを提案します。
これにより、スループットへの影響を最小限に抑えながら、合計バッチサイズを大きくすることができます。
次に、Cifar-10を使用して、プライバシーとユーティリティの観点から、バッチサイズを大きくすることが必ずしも最適ではないことを示します。
ImageNetでは、TFDPの15倍以上の高速化と8倍のA100の高速化を実現し、Opacusなどのライブラリ間でも大幅な高速化を実現しています。
また、2つの拡張機能を提供します。1）パイプラインモデル用のDPSGDと2）8xA100でのOpacus実装よりも15倍高速なレイヤーごとのクリッピング。
最後に、アプリケーションのケーススタディとして、プライベートCovid-19胸部CT予測で使用するためにNanoBatchトレーニングを適用します。

要約(オリジナル)

Differentially private SGD (DPSGD) has recently shown promise in deep learning. However, compared to non-private SGD, the DPSGD algorithm places computational overheads that can undo the benefit of batching in GPUs. Micro-batching is a common method to alleviate this and is fully supported in the TensorFlow Privacy library (TFDP). However, it degrades accuracy. We propose NanoBatch Privacy, a lightweight add-on to TFDP to be used on Graphcore IPUs by leveraging batch size of 1 (without microbatching) and gradient accumulation. This allows us to achieve large total batch sizes with minimal impacts to throughput. Second, we illustrate using Cifar-10 how larger batch sizes are not necessarily optimal from a privacy versus utility perspective. On ImageNet, we achieve more than 15x speedup over TFDP versus 8x A100s and significant speedups even across libraries such as Opacus. We also provide two extensions: 1) DPSGD for pipelined models and 2) per-layer clipping that is 15x faster than the Opacus implementation on 8x A100s. Finally as an application case study, we apply NanoBatch training for use on private Covid-19 chest CT prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google