MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine Learning Inference

要約

マルチパーティ コンピューティング (MPC) は、ここ数年にわたって安全なコンピューティング モデルとして人気が高まっています。
ただし、これまでの研究では、MPC プロトコルは、特に ML アルゴリズムに適用された場合、平文と比較して依然としてパフォーマンスに大きなペナルティを負っていることが実証されています。
オーバーヘッドは、追加の計算コストと通信コストによって発生します。
以前の研究と私たち自身の分析により、今日のほとんどの MPC プロトコルは通信と計算を順番に実行することがわかりました。
参加者は、最初に自分のシェアを計算し、次の計算ステップに進む前に、新しい秘密シェアの配布を可能にするデータ通信を実行する必要があります。
この研究では、特に ML 計算のコンテキスト (畳み込みニューラル ネットワークと Transformer ベースのモデルの両方) においてシリアル化が不要であることを示します。
計算と通信のステップを慎重に調整してオーバーラップさせることが可能であることを示します。
私たちは、ML ワークロードのトレーニングと推論の両方に効率的な MPC システムである MPC-Pipe を提案します。これは、オンライン段階で MPC プロトコルで計算と通信をパイプライン化します。
MPC-Pipe は、半正直多数の敵対者の設定で ML のオンライン段階を最適化する 3 つのパイプライン スキームを提案しています。
MPC-Pipe は、オンライン フェーズとオフライン フェーズを分離する CrypTen の修正バージョンを拡張することによって実装されます。
ディープ ニューラル ネットワーク (VGG16、ResNet50) とさまざまなネットワーク設定を使用するトランスフォーマーを使用して、MPC のオンライン フェーズのエンドツーエンドのシステム パフォーマンスの利点を評価します。
MPC-Pipe が ML ワークロードのスループットとレイテンシーを改善できることを示します。

要約(オリジナル)

Multi-party computing (MPC) has been gaining popularity as a secure computing model over the past few years. However, prior works have demonstrated that MPC protocols still pay substantial performance penalties compared to plaintext, particularly when applied to ML algorithms. The overhead is due to added computation and communication costs. Prior studies, as well as our own analysis, found that most MPC protocols today sequentially perform communication and computation. The participating parties must compute on their shares first and then perform data communication to allow the distribution of new secret shares before proceeding to the next computation step. In this work, we show that serialization is unnecessary, particularly in the context of ML computations (both in Convolutional neural networks and in Transformer-based models). We demonstrate that it is possible to carefully orchestrate the computation and communication steps to overlap. We propose MPC-Pipe, an efficient MPC system for both training and inference of ML workloads, which pipelines computations and communications in an MPC protocol during the online phase. MPC-Pipe proposes three pipeline schemes to optimize the online phase of ML in the semi-honest majority adversary setting. We implement MPC-Pipe by augmenting a modified version of CrypTen, which separates online and offline phases. We evaluate the end-to-end system performance benefits of the online phase of MPC using deep neural networks (VGG16, ResNet50) and Transformers using different network settings. We show that MPC-Pipe can improve the throughput and latency of ML workloads.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google