PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks

要約

協調推論は、リソースに制約のあるエッジ デバイスが最先端のディープ ニューラル ネットワーク (DNN) を使用して推論を実行できるようにする有望なソリューションです。
協調推論では、エッジ デバイスはまずローカルで部分 DNN に入力を供給し、次に中間結果をクラウドにアップロードして推論を完了します。
ただし、最近の研究では、モデル反転攻撃 (MIA) が中間結果から入力データを再構築する可能性があり、協調推論においてプライバシーに関する重大な懸念が生じる可能性があることが示されています。
既存の摂動および暗号化技術は、正確な推論を実行しながら MIA を防御するには非効率的で信頼性が低くなります。
このペーパーでは、プライバシー、効率、協調推論の有用性のバランスをとるプライバシー指向の枝刈りを開発する PATROL という実行可能なソリューションを提供します。
PATROL は、DNN の後の層がより多くのタスク固有の特徴を抽出できるという事実を利用します。
協調推論用のローカル リソースが限られているため、PATROL は、プルーニング技術に基づいてエッジにさらに多くのレイヤーをデプロイし、推論にタスク固有の機能を強制し、プライバシー保護のためにタスクには無関係だが機密性の高い機能を削減する予定です。
プライバシー指向の枝刈りを実現するために、PATROL は 2 つの重要なコンポーネントを導入しています。リプシッツ正則化と敵対的再構成トレーニングです。これらはそれぞれ、MIA の安定性を低下させることで再構成エラーを増加させ、敵対的トレーニングによってターゲット推論モデルを強化します。

要約(オリジナル)

Collaborative inference has been a promising solution to enable resource-constrained edge devices to perform inference using state-of-the-art deep neural networks (DNNs). In collaborative inference, the edge device first feeds the input to a partial DNN locally and then uploads the intermediate result to the cloud to complete the inference. However, recent research indicates model inversion attacks (MIAs) can reconstruct input data from intermediate results, posing serious privacy concerns for collaborative inference. Existing perturbation and cryptography techniques are inefficient and unreliable in defending against MIAs while performing accurate inference. This paper provides a viable solution, named PATROL, which develops privacy-oriented pruning to balance privacy, efficiency, and utility of collaborative inference. PATROL takes advantage of the fact that later layers in a DNN can extract more task-specific features. Given limited local resources for collaborative inference, PATROL intends to deploy more layers at the edge based on pruning techniques to enforce task-specific features for inference and reduce task-irrelevant but sensitive features for privacy preservation. To achieve privacy-oriented pruning, PATROL introduces two key components: Lipschitz regularization and adversarial reconstruction training, which increase the reconstruction errors by reducing the stability of MIAs and enhance the target inference model by adversarial training, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google