Salted Inference: Enhancing Privacy while Maintaining Efficiency of Split Inference in Mobile Computing

要約

分割推論では、ディープ ニューラル ネットワーク (DNN) が分割され、DNN の前半部分をエッジで実行し、DNN の後半部分をクラウドで実行します。
これにより、オンデバイス機械学習の 2 つの重要な要件、つまり入力プライバシーと計算効率が満たされます。
それでも、分割推論における未解決の問題は、DNN の出力がクラウドで観察可能であることを考慮すると、出力のプライバシーです。
暗号化コンピューティングは出力プライバシーも保護できますが、準同型暗号化にはエッジ デバイスとクラウド デバイスの両方からの大量の計算リソースと通信リソースが必要です。
このペーパーでは、DNN の初期部分を実行するエッジのクライアントが推論時に DNN 出力のセマンティック解釈を制御できるようにする新しいアプローチである Salted DNN を紹介します。
私たちが提案する Salted DNN は、標準の DNN に非常に近い分類精度と計算効率を維持します。
画像とウェアラブル センサー データの両方に対して行われた実験評価では、特に分割推論の要件を満たすためにソルテッド レイヤーが初期部分に配置されている場合、ソルテッド DNN は標準 DNN に非常に近い分類精度を達成することが実証されています。
私たちのアプローチは一般的であり、さまざまなタイプの DNN に適用できます。
将来の研究のためのベンチマークとして、コードをオープンソース化します。

要約(オリジナル)

In split inference, a deep neural network (DNN) is partitioned to run the early part of the DNN at the edge and the later part of the DNN in the cloud. This meets two key requirements for on-device machine learning: input privacy and computation efficiency. Still, an open question in split inference is output privacy, given that the outputs of the DNN are observable in the cloud. While encrypted computing can protect output privacy too, homomorphic encryption requires substantial computation and communication resources from both edge and cloud devices. In this paper, we introduce Salted DNNs: a novel approach that enables clients at the edge, who run the early part of the DNN, to control the semantic interpretation of the DNN’s outputs at inference time. Our proposed Salted DNNs maintain classification accuracy and computation efficiency very close to the standard DNN counterparts. Experimental evaluations conducted on both images and wearable sensor data demonstrate that Salted DNNs attain classification accuracy very close to standard DNNs, particularly when the Salted Layer is positioned within the early part to meet the requirements of split inference. Our approach is general and can be applied to various types of DNNs. As a benchmark for future studies, we open-source our code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google