NeuJeans: Private Neural Network Inference with Joint Optimization of Convolution and Bootstrapping

要約

完全準同型暗号化 (FHE) は、クライアント データをサーバーに意識させずに、クライアントが推論タスクをクラウド サーバーに完全にオフロードできるようにすることで、プライベート ニューラル ネットワーク推論 (PI) サービスを実現するための有望な暗号プリミティブです。
この研究では、ディープ畳み込みニューラル ネットワーク (CNN) の PI 用の FHE ベースのソリューションである NeuJeans を提案します。
NeuJeans は、主にデータの並べ替えとブートストラップのコストが高いために、畳み込み層 (conv2d) の FHE 評価に膨大な計算コストがかかるという重大な問題に取り組んでいます。
まず、FHE のエンコードされたベクトル内に入れ子構造を導入するエンコード方法を提案します。これにより、データの並べ替えコストを削減した効率的な conv2d アルゴリズムの開発が可能になります。
ただし、新しいエンコード方法では、エンコード方法間の変換のための追加の計算も導入され、その利点が損なわれる可能性があります。
conv2d とブートストラップを融合すると、ブートストラップのコストを削減しながら、そのような計算が不要になることがわかりました。
次に、さまざまなタイプの conv2d に対して最適化された実行フローを考案し、それを CNN のエンドツーエンド実装に適用します。
NeuJeans は、最先端の FHE ベースの PI 作業と比較して conv2d のパフォーマンスを最大 5.68 倍高速化し、わずか数秒以内に ImageNet (ResNet18) の規模で CNN の PI を実行します。

要約(オリジナル)

Fully homomorphic encryption (FHE) is a promising cryptographic primitive for realizing private neural network inference (PI) services by allowing a client to fully offload the inference task to a cloud server while keeping the client data oblivious to the server. This work proposes NeuJeans, an FHE-based solution for the PI of deep convolutional neural networks (CNNs). NeuJeans tackles the critical problem of the enormous computational cost for the FHE evaluation of convolutional layers (conv2d), mainly due to the high cost of data reordering and bootstrapping. We first propose an encoding method introducing nested structures inside encoded vectors for FHE, which enables us to develop efficient conv2d algorithms with reduced data reordering costs. However, the new encoding method also introduces additional computations for conversion between encoding methods, which could negate its advantages. We discover that fusing conv2d with bootstrapping eliminates such computations while reducing the cost of bootstrapping. Then, we devise optimized execution flows for various types of conv2d and apply them to end-to-end implementation of CNNs. NeuJeans accelerates the performance of conv2d by up to 5.68 times compared to state-of-the-art FHE-based PI work and performs the PI of a CNN at the scale of ImageNet (ResNet18) within a mere few seconds

arxiv情報

提供元, 利用サービス

arxiv.jp, Google