Protecting Confidentiality, Privacy and Integrity in Collaborative Learning

要約

効果的な機械学習 (ML) トレーニングを促進するには、データセット所有者とモデル所有者の間の協力が必要です。
ただし、このコラボレーション中、データセット所有者とモデル所有者は、それぞれの資産 (つまり、データセット、モデル、トレーニング コード) の機密性を保護したいと考えており、データセット所有者は、データセットにデータが含まれている個々のユーザーのプライバシーにも配慮しています。
既存のソリューションでは、モデルとトレーニング コードの機密性が限定的であるか、共謀によるプライバシーの問題に悩まされています。
データセット、モデル、トレーニング コードの機密性と個々のユーザーのプライバシーを同時に保護するように設計された、スケーラブルな協調 ML トレーニング システムである Citadel++ を紹介します。
Citadel++ は、モデルの実用性を維持しながら、個々のユーザー データのプライバシーを保護するための差分プライバシー技術を強化します。
Citadel++ は、仮想マシン レベルの信頼できる実行環境 (TEE) と、さまざまな OS レベルのメカニズムによる改善された整合性保護技術を採用することにより、データセット、モデル、トレーニング コードの機密性を効果的に保持し、モデルやトレーニング コードが守られている場合でもプライバシー メカニズムを強制します。
悪意を持って設計されています。
私たちの実験では、Citadel++ がデータセット所有者とモデル所有者の機密性とプライバシー要件を遵守しながらプライバシー、モデル ユーティリティ、パフォーマンスを提供し、最先端のプライバシー保護トレーニング システムのパフォーマンスを CPU で最大 543 倍、GPU で 113 倍上回ることが示されています。
TEE。

要約(オリジナル)

A collaboration between dataset owners and model owners is needed to facilitate effective machine learning (ML) training. During this collaboration, however, dataset owners and model owners want to protect the confidentiality of their respective assets (i.e., datasets, models and training code), with the dataset owners also caring about the privacy of individual users whose data is in their datasets. Existing solutions either provide limited confidentiality for models and training code, or suffer from privacy issues due to collusion. We present Citadel++, a scalable collaborative ML training system designed to simultaneously protect the confidentiality of datasets, models and training code, as well as the privacy of individual users. Citadel++ enhances differential privacy techniques to safeguard the privacy of individual user data while maintaining model utility. By employing Virtual Machine-level Trusted Execution Environments (TEEs) and improved integrity protection techniques through various OS-level mechanisms, Citadel++ effectively preserves the confidentiality of datasets, models and training code, and enforces our privacy mechanisms even when the models and training code have been maliciously designed. Our experiments show that Citadel++ provides privacy, model utility and performance while adhering to confidentiality and privacy requirements of dataset owners and model owners, outperforming the state-of-the-art privacy-preserving training systems by up to 543x on CPU and 113x on GPU TEEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google