Securing Neural Networks with Knapsack Optimization

要約

タイトル：Knapsack最適化を用いたニューラルネットワークのセキュリティ
要約：

– ディープラーニング推論は、データと畳み込みニューラルネットワーク（CNN）を組み合わせる。しかし、ユーザーがデータのプライバシーを保護したい場合、およびサービスプロバイダーが自分のCNNの重みを公開したくない場合、これは問題である。
– セキュア推論により、2つの当事者は、それぞれのプライバシーの懸念を保護しながら、ユーザーに推論結果のみを示すプロトコルに従うことができる。つまり、これはマルチパーティ計算（MPC）として知られている。
– MPCアルゴリズムの主なボトルネックは通信であり、当事者はデータを行き来させる必要がある。CNNの線形要素（すなわち、畳み込み）は、最小限の通信で効率的に行われるが、非線形要素（ReLU）は通信帯域幅のほとんどを必要とする。
– セキュア推論を加速するために、2つの方法を提案する。第一は、多くの畳み込みのReLUの結果が強く相関していることに基づいている。したがって、私たちは、ピクセルごとのReLU演算をパッチごとのReLU演算に置き換える。ネットワークの各層は、異なるサイズのパッチを利用することになり、ナップサック問題によって最適なパッチサイズのセットを選択するアルゴリズムを考案した。
– セキュアReLU演算に必要なビットの比較回数を削減するための2番目の方法を提案する。私たちは、ResNet50バックボーンを使用してImageNetを分類し、ResNet18バックボーンを使用してCIFAR100を分類し、MobileNetV2バックボーンを使用してADE20Kの意味論的セグメンテーション、およびResNet50バックボーンを使用してPascal VOC 2012の意味論的セグメンテーションの4つの問題を、半誠実な安全な3者間設定で実証した。
– ソースコードは公開されている。

要約(オリジナル)

Deep learning inference brings together the data and the Convolutional Neural Network (CNN). This is problematic in case the user wants to preserve the privacy of the data and the service provider does not want to reveal the weights of his CNN. Secure Inference allows the two parties to engage in a protocol that preserves their respective privacy concerns, while revealing only the inference result to the user. This is known as Multi-Party Computation (MPC). A major bottleneck of MPC algorithms is communication, as the parties must send data back and forth. The linear component of a CNN (i.e. convolutions) can be done efficiently with minimal communication, but the non-linear part (i.e., ReLU) requires the bulk of communication bandwidth. We propose two ways to accelerate Secure Inference. The first is based on the observation that the ReLU outcome of many convolutions is highly correlated. Therefore, we replace the per pixel ReLU operation by a ReLU operation per patch. Each layer in the network will benefit from a patch of a different size and we devise an algorithm to choose the optimal set of patch sizes through a novel reduction of the problem to a knapsack problem. The second way to accelerate Secure Inference is based on cutting the number of bit comparisons required for a secure ReLU operation. We demonstrate the cumulative effect of these tools in the semi-honest secure 3-party setting for four problems: Classifying ImageNet using ResNet50 backbone, classifying CIFAR100 using ResNet18 backbone, semantic segmentation of ADE20K using MobileNetV2 backbone and semantic segmentation of Pascal VOC 2012 using ResNet50 backbone. Our source code is publicly available: $\href{https://github.com/yg320/secure_inference}{\text{https://github.com/yg320/secure_inference}}$

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI