Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits

要約

機械学習ソリューションの導入は、社会のあらゆる部分で急速に増加しています。
モデルが大きくなるにつれて、機械学習モデルのトレーニングと推論の両方がますますアウトソーシングされます。
クラウドサービスプロバイダーへ。
これは、潜在的に機密性の高いデータが信頼できないプラットフォームで処理されることを意味し、本質的なデータ セキュリティとプライバシーのリスクが伴います。
この研究では、深層畳み込みニューラル ネットワークに焦点を当てて、分散機械学習システムを保護する方法を調査します。
最も一般的で最もパフォーマンスの高い混合 MPC アプローチは、HE、秘密共有、および文字化けした回路に基づいています。
これらは通常、大きなパフォーマンス オーバーヘッド、大きな精度損失、およびニューラル ネットワークの深さで直線的に増加する通信オーバーヘッドに悩まされます。
これらの問題を改善するために、悪意のある攻撃者に対して安全な、高速で分散型のプライベート畳み込みニューラル ネットワーク推論スキームである Dash を紹介します。
算術文字化けガジェット [BMR16] と派手な文字化け [BCM+19] をベースにしている Dash は、純粋に算術文字化け回路に基づいています。
最新の GPU の大規模な並列性を活用できるようにする LabelTensor を紹介します。
最先端の文字化け最適化と組み合わせることで、Dash は以前の文字化けアプローチを最大約 100 倍上回るパフォーマンスを発揮します。さらに、中国剰余定理表現の剰余に対する効率的なスケーリング演算を算術文字化け回路に導入しました。
大規模なネットワークを文字化けさせ、以前のアプローチよりもはるかに高い精度を達成します。
最後に、Dash は、ニューラル ネットワークの深さに関係なく、推論ステップごとに 1 回の通信ラウンドのみを必要とし、一定のオンライン通信量は非常に少量です。

要約(オリジナル)

The adoption of machine learning solutions is rapidly increasing across all parts of society. As the models grow larger, both training and inference of machine learning models is increasingly outsourced, e.g. to cloud service providers. This means that potentially sensitive data is processed on untrusted platforms, which bears inherent data security and privacy risks. In this work, we investigate how to protect distributed machine learning systems, focusing on deep convolutional neural networks. The most common and best-performing mixed MPC approaches are based on HE, secret sharing, and garbled circuits. They commonly suffer from large performance overheads, big accuracy losses, and communication overheads that grow linearly in the depth of the neural network. To improve on these problems, we present Dash, a fast and distributed private convolutional neural network inference scheme secure against malicious attackers. Building on arithmetic garbling gadgets [BMR16] and fancy-garbling [BCM+19], Dash is based purely on arithmetic garbled circuits. We introduce LabelTensors that allow us to leverage the massive parallelity of modern GPUs. Combined with state-of-the-art garbling optimizations, Dash outperforms previous garbling approaches up to a factor of about 100. Furthermore, we introduce an efficient scaling operation over the residues of the Chinese remainder theorem representation to arithmetic garbled circuits, which allows us to garble larger networks and achieve much higher accuracy than previous approaches. Finally, Dash requires only a single communication round per inference step, regardless of the depth of the neural network, and a very small constant online communication volume.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google