Split-n-Chain: Privacy-Preserving Multi-Node Split Learning with Blockchain-Based Auditability

要約

ディープラーニングは、大量のトレーニングデータと統合されている場合、高精度の点で機械学習よりも優れている可能性があります。
最近、プライバシーを提供するディープラーニングは、研究コミュニティに大きな注目を集めています。
ディープラーニングにおけるさまざまなプライバシーの概念には、データ所有者が提供するデータのプライバシーや、基礎となるニューラルネットワークのパラメーターおよび/またはハイパーパラメーターのプライバシーが含まれます。
Federated Learningは、データ所有者がそれぞれの参加者にそれぞれのデータを漏らすことなく、パラメーターを集合的に学習することに参加する人気のあるプライバシーを提供する実行環境です。
ただし、連邦学習は特定のセキュリティ/プライバシーの問題に苦しんでいます。
この論文では、ネットワークのレイヤーがいくつかの分散ノード間で分割される分割学習のバリアントであるスプリットNチェーンを提案します。
Split-n-Chainはいくつかのプライバシープロパティを達成します。データ所有者はトレーニングデータを他のノードと共有する必要はなく、ニューラルネットワークのパラメーターとハイパーパラメーターにアクセスすることはできません（それぞれのレイヤーを除く）。
さらに、Split-N-Chainはブロックチェーンを使用して、異なるノードで行われた計算を監査します。
私たちの実験結果は、次のことを示しています。スプリットNチェーンは、異なるフェーズを実行するのに必要な時間の点で効率的であり、トレーニング損失の傾向は、モノリシックな方法で実装された場合、同じニューラルネットワークの傾向と似ています。

要約(オリジナル)

Deep learning, when integrated with a large amount of training data, has the potential to outperform machine learning in terms of high accuracy. Recently, privacy-preserving deep learning has drawn significant attention of the research community. Different privacy notions in deep learning include privacy of data provided by data-owners and privacy of parameters and/or hyperparameters of the underlying neural network. Federated learning is a popular privacy-preserving execution environment where data-owners participate in learning the parameters collectively without leaking their respective data to other participants. However, federated learning suffers from certain security/privacy issues. In this paper, we propose Split-n-Chain, a variant of split learning where the layers of the network are split among several distributed nodes. Split-n-Chain achieves several privacy properties: data-owners need not share their training data with other nodes, and no nodes have access to the parameters and hyperparameters of the neural network (except that of the respective layers they hold). Moreover, Split-n-Chain uses blockchain to audit the computation done by different nodes. Our experimental results show that: Split-n-Chain is efficient, in terms of time required to execute different phases, and the training loss trend is similar to that for the same neural network when implemented in a monolithic fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google