Volley Revolver: A Novel Matrix-Encoding Method for Privacy-Preserving Neural Networks (Inference)

要約

この研究では、ニューラル ネットワークが準同型暗号を使用してプライバシーを保護しながら予測を行うのに特に便利な、新しい行列エンコーディング方法を紹介します。
このエンコード方法に基づいて、暗号化による手書き画像分類のための畳み込みニューラル ネットワークを実装します。
2 つの行列 $A$ と $B$ で準同型乗算を実行する場合、その背後にある主なアイデアは、単純なバージョンでは、行列 $A$ と行列 $B$ の転置をそれぞれ 2 つの暗号文に暗号化することです。
追加の演算を使用すると、暗号化された行列に対して準同型行列の乗算を効率的に計算できます。
畳み込み演算の場合、事前に各畳み込みカーネルを入力画像と同じサイズの行列空間に拡張して、いくつかの暗号文を生成します。各暗号文は後で、最終的な計算の一部を計算するために、入力画像を暗号化する暗号文と一緒に使用されます。
畳み込みの結果。
これらすべての中間結果を蓄積して、畳み込み演算を完了します。
40 個の vCPU を備えたパブリック クラウドでは、MNIST テスト データセットへの畳み込みニューラル ネットワークの実装では、サイズ $28 \times 28$ の 32 個の暗号化画像の 10 個の尤度を同時に計算するのに $\sim$ 287 秒かかります。
データ所有者は、これら 32 枚の画像を暗号化する 1 つの暗号文 ($\sim 19.8$ MB) をパブリック クラウドにアップロードするだけで済みます。

要約(オリジナル)

In this work, we present a novel matrix-encoding method that is particularly convenient for neural networks to make predictions in a privacy-preserving manner using homomorphic encryption. Based on this encoding method, we implement a convolutional neural network for handwritten image classification over encryption. For two matrices $A$ and $B$ to perform homomorphic multiplication, the main idea behind it, in a simple version, is to encrypt matrix $A$ and the transpose of matrix $B$ into two ciphertexts respectively. With additional operations, the homomorphic matrix multiplication can be calculated over encrypted matrices efficiently. For the convolution operation, we in advance span each convolution kernel to a matrix space of the same size as the input image so as to generate several ciphertexts, each of which is later used together with the ciphertext encrypting input images for calculating some of the final convolution results. We accumulate all these intermediate results and thus complete the convolution operation. In a public cloud with 40 vCPUs, our convolutional neural network implementation on the MNIST testing dataset takes $\sim$ 287 seconds to compute ten likelihoods of 32 encrypted images of size $28 \times 28$ simultaneously. The data owner only needs to upload one ciphertext ($\sim 19.8$ MB) encrypting these 32 images to the public cloud.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google