Robust Representation Learning for Privacy-Preserving Machine Learning: A Multi-Objective Autoencoder Approach

要約

いくつかのドメインでは、アプリケーションにおける機械学習への依存度が高まっています。
その結果、データへの依存度が高くなったことで、データ倫理とプライバシーに関するさまざまな法律や規制が出現し、プライバシー保護機械学習 (ppML) の必要性に対する意識が高まりました。
現在の ppML 技術は、準同型暗号化などの純粋に暗号化に基づく方法、または差分プライバシーなどの入力にノイズを導入する方法を利用しています。
これらの手法に対する主な批判は、遅すぎるか、機密性向上のためにモデルのパフォーマンスを犠牲にするかのいずれかであるという事実です。
このパフォーマンス低下に対処するために、プライバシーとユーティリティのトレードオフを最適化しながら、データをエンコードする方法として堅牢な表現学習を活用することを目指しています。
私たちの方法は、多目的の方法でオートエンコーダーをトレーニングし、エンコード部分からの潜在的な特徴と学習された特徴をデータのエンコードされた形式として連結することに重点を置いています。
このような深層学習を利用したエンコーディングは、集中的なトレーニングやハイパーパラメーターの調整のためにサードパーティに安全に送信できます。
私たちが提案したフレームワークを使用すると、元の形式が公開されるという脅威にさらされることなく、データを共有し、サードパーティのツールを使用できます。
私たちは、ユニモーダル設定とマルチモーダル設定での結果を経験的に検証し、後者は垂直分割システムに従い、最先端のものよりもパフォーマンスが向上していることを示しています。

要約(オリジナル)

Several domains increasingly rely on machine learning in their applications. The resulting heavy dependence on data has led to the emergence of various laws and regulations around data ethics and privacy and growing awareness of the need for privacy-preserving machine learning (ppML). Current ppML techniques utilize methods that are either purely based on cryptography, such as homomorphic encryption, or that introduce noise into the input, such as differential privacy. The main criticism given to those techniques is the fact that they either are too slow or they trade off a model s performance for improved confidentiality. To address this performance reduction, we aim to leverage robust representation learning as a way of encoding our data while optimizing the privacy-utility trade-off. Our method centers on training autoencoders in a multi-objective manner and then concatenating the latent and learned features from the encoding part as the encoded form of our data. Such a deep learning-powered encoding can then safely be sent to a third party for intensive training and hyperparameter tuning. With our proposed framework, we can share our data and use third party tools without being under the threat of revealing its original form. We empirically validate our results on unimodal and multimodal settings, the latter following a vertical splitting system and show improved performance over state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google