Vicious Classifiers: Assessing Inference-time Data Reconstruction Risk in Edge Computing

要約

エッジ コンピューティング パラダイムにおけるプライバシー保護推論では、機械学習サービスのユーザーがプライベート入力でモデルをローカルで実行し、ターゲット タスクのモデル出力のみをサーバーと共有することが推奨されます。
私たちは、ターゲットモデル（ユーザー側で実行する）とデータの攻撃モデルを共同でトレーニングすることにより、悪意のあるサーバーがモデルの出力のみを観察することで入力データを再構築し、ターゲットの精度を誠実なサーバーに非常に近づけることができる方法を研究します。
再構築（サーバー側で密かに使用するため）。
推論時の再構成リスクを評価するための新しい尺度を提案します。
6 つのベンチマーク データセットの評価では、モデルの入力が 1 つの推論の出力からほぼ再構築できることが示されています。
我々は、推論時に悪質な分類子と誠実な分類子を区別するための主要な防御メカニズムを提案します。
新しい ML サービスに関連するこのようなリスクを研究することにより、私たちの研究はエッジ コンピューティングにおけるプライバシーの強化に影響を及ぼします。
私たちは未解決の課題と今後の研究の方向性について話し合い、https://github.com/mmalekzadeh/vicious-classifiers でコミュニティのベンチマークとしてコードをリリースします。

要約(オリジナル)

Privacy-preserving inference in edge computing paradigms encourages the users of machine-learning services to locally run a model on their private input and only share the models outputs for a target task with the server. We study how a vicious server can reconstruct the input data by observing only the models outputs while keeping the target accuracy very close to that of a honest server by jointly training a target model (to run at users’ side) and an attack model for data reconstruction (to secretly use at servers’ side). We present a new measure to assess the inference-time reconstruction risk. Evaluations on six benchmark datasets show the model’s input can be approximately reconstructed from the outputs of a single inference. We propose a primary defense mechanism to distinguish vicious versus honest classifiers at inference time. By studying such a risk associated with emerging ML services our work has implications for enhancing privacy in edge computing. We discuss open challenges and directions for future studies and release our code as a benchmark for the community at https://github.com/mmalekzadeh/vicious-classifiers .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google