DCT-CryptoNets: Scaling Private Inference in the Frequency Domain

要約

完全準同型暗号化 (FHE) と機械学習の融合により、機密データのプライベート推論の前例のない機会が提供されます。
FHE は、暗号化されたデータに対する直接計算を可能にし、データとモデルの機密性を含む機械学習パイプライン全体を保護します。
ただし、ディープ ニューラル ネットワークの既存の FHE ベースの実装は、計算コスト、遅延、スケーラビリティの点で大きな課題に直面しており、実際の展開が制限されています。
このペーパーでは、これらの問題に取り組むために周波数領域学習を活用する新しいアプローチである DCT-CryptoNets を紹介します。
私たちの方法は、JPEG 圧縮で一般的に使用される離散コサイン変換 (DCT) を利用して、周波数領域で直接動作します。
このアプローチは本質的に、画像が通常圧縮形式で送信および保存されるリモート コンピューティング サービスと互換性があります。
DCT-CryptoNets は、知覚的に関連のある低周波成分に焦点を当てることで、準同型演算の計算負荷を軽減します。
これは、同等のコンピューティング リソースでの以前の作業と比較して 12.5 時間から 2.5 時間以内に短縮された ImageNet 推論の新しいデモンストレーションを含め、画像分類タスクに関する以前の作業と比較して最大 5.3$\times$ の大幅な遅延削減によって実証されています。
さらに、DCT-CryptoNets は変動性 (たとえば、ImageNet の $\pm$2.5\% から $\pm$1.0\%) を低減することで、暗号化精度の信頼性を向上させます。
この研究は、現実世界のアプリケーションで見られる高解像度画像上で効率的かつ実用的なプライバシー保護ディープラーニングを実現するための有望な手段を示しています。

要約(オリジナル)

The convergence of fully homomorphic encryption (FHE) and machine learning offers unprecedented opportunities for private inference of sensitive data. FHE enables computation directly on encrypted data, safeguarding the entire machine learning pipeline, including data and model confidentiality. However, existing FHE-based implementations for deep neural networks face significant challenges in computational cost, latency, and scalability, limiting their practical deployment. This paper introduces DCT-CryptoNets, a novel approach that leverages frequency-domain learning to tackle these issues. Our method operates directly in the frequency domain, utilizing the discrete cosine transform (DCT) commonly employed in JPEG compression. This approach is inherently compatible with remote computing services, where images are usually transmitted and stored in compressed formats. DCT-CryptoNets reduces the computational burden of homomorphic operations by focusing on perceptually relevant low-frequency components. This is demonstrated by substantial latency reduction of up to 5.3$\times$ compared to prior work on image classification tasks, including a novel demonstration of ImageNet inference within 2.5 hours, down from 12.5 hours compared to prior work on equivalent compute resources. Moreover, DCT-CryptoNets improves the reliability of encrypted accuracy by reducing variability (e.g., from $\pm$2.5\% to $\pm$1.0\% on ImageNet). This study demonstrates a promising avenue for achieving efficient and practical privacy-preserving deep learning on high resolution images seen in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google