Proof-of-Contribution-Based Design for Collaborative Machine Learning on Blockchain

要約

ローカルのプライベート データと関心のあるデータ所有者 (つまりトレーナー) の計算能力を利用してモデルをトレーニングしたいプロジェクト (モデル) 所有者を考えます。
私たちの目標は、i) トレーニング済みモデルへの貢献に基づいてトレーナーが補償されるように、貢献の証明に基づく報酬の割り当てを同時に提供する、そのような分散型の共同/連合学習アプリケーション用のデータ市場を設計することです。
ii) データ所有者からのデータ移動を回避することにより、プライバシーを保護する分散型モデルのトレーニング。
iii) 悪意のある当事者に対する堅牢性 (例: モデルを汚染することを目的とするトレーナー);
iv) 貢献度の評価と外れ値の検出を含む、データ マーケット プロトコルにおけるすべての計算の完全性、つまり正確性が、ゼロ知識証明によって検証可能であるという意味での検証可能性。
v) 効率的でユニバーサルなデザイン。
上記の5つの目的すべてを達成するために、ブロックチェーンベースの市場設計を提案します。
私たちの設計では、プロジェクト オーナーとトレーナー以外に、分散ストレージ インフラストラクチャとアグリゲーターを利用しています。
アグリゲーターは、トレーナーの貢献度の評価、異常値の除去、ハイパーパラメーターの更新など、特定の計算を実行する処理ノードです。
ブロックチェーンのスマートコントラクトを通じて、提案されたデータ市場を実行します。
デプロイされたスマート コントラクトにより、プロジェクト オーナーは支払いを逃れることができず、正直なトレーナーはトレーニング終了時に貢献に応じて報酬を受け取ります。
最後に、提案されたデータ市場の構成要素を実装し、広範な実験を通じて実際のシナリオでの適用性を実証します。

要約(オリジナル)

We consider a project (model) owner that would like to train a model by utilizing the local private data and compute power of interested data owners, i.e., trainers. Our goal is to design a data marketplace for such decentralized collaborative/federated learning applications that simultaneously provides i) proof-of-contribution based reward allocation so that the trainers are compensated based on their contributions to the trained model; ii) privacy-preserving decentralized model training by avoiding any data movement from data owners; iii) robustness against malicious parties (e.g., trainers aiming to poison the model); iv) verifiability in the sense that the integrity, i.e., correctness, of all computations in the data market protocol including contribution assessment and outlier detection are verifiable through zero-knowledge proofs; and v) efficient and universal design. We propose a blockchain-based marketplace design to achieve all five objectives mentioned above. In our design, we utilize a distributed storage infrastructure and an aggregator aside from the project owner and the trainers. The aggregator is a processing node that performs certain computations, including assessing trainer contributions, removing outliers, and updating hyper-parameters. We execute the proposed data market through a blockchain smart contract. The deployed smart contract ensures that the project owner cannot evade payment, and honest trainers are rewarded based on their contributions at the end of training. Finally, we implement the building blocks of the proposed data market and demonstrate their applicability in practical scenarios through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google