Ents: An Efficient Three-party Training Framework for Decision Trees by Communication Optimization

要約

セキュアなマルチパーティ計算に基づく決定木のマルチパーティ学習フレームワークにより、分散されたプライベートデータに対して、複数のパーティがプライバシーを保護しながら高性能なモデルを学習することができる。訓練プロセスでは、基本的に、分割基準（例えば、ジニ不純度）に従ってデータセットを頻繁に分割する。(1)連続的な属性を持つデータセットを安全に分割するための膨大な通信オーバヘッド。 (2)分割基準のための安全な計算を行うために、ほとんど全ての計算を大きなリング上で行うことによる膨大な通信オーバヘッド。 本論文では、通信の最適化により、決定木のための効率的な3者学習フレームワーク、すなわちEntsを提案する。第一の課題として、連続属性を持つデータセットを効率的かつ安全に分割するための、安全な基数ソートプロトコルに基づく一連の学習プロトコルを提示する。第二の課題として、大リング上でほぼ全ての計算を行うことで発生する通信オーバヘッドを削減するために、小リングと大リング間で共有を変換する効率的な共有変換プロトコルを提案する。広く使われている8つのデータセットで実験した結果、Entsは、通信サイ ズで5.5倍、通信ラウンドで3.9倍、最新フレームワークを上回った。訓練時間では、Entsは$3.5times ⊖ 6.7times$の改善である。Entsの実用性を実証するために、WAN環境において245,000以上のサンプルを持つ、実世界で広く使用されているデータセット（Skin Segmentation）で決定木を安全に訓練するのに必要な時間は3時間未満である。

要約(オリジナル)

Multi-party training frameworks for decision trees based on secure multi-party computation enable multiple parties to train high-performance models on distributed private data with privacy preservation. The training process essentially involves frequent dataset splitting according to the splitting criterion (e.g. Gini impurity). However, existing multi-party training frameworks for decision trees demonstrate communication inefficiency due to the following issues: (1) They suffer from huge communication overhead in securely splitting a dataset with continuous attributes. (2) They suffer from huge communication overhead due to performing almost all the computations on a large ring to accommodate the secure computations for the splitting criterion. In this paper, we are motivated to present an efficient three-party training framework, namely Ents, for decision trees by communication optimization. For the first issue, we present a series of training protocols based on the secure radix sort protocols to efficiently and securely split a dataset with continuous attributes. For the second issue, we propose an efficient share conversion protocol to convert shares between a small ring and a large ring to reduce the communication overhead incurred by performing almost all the computations on a large ring. Experimental results from eight widely used datasets show that Ents outperforms state-of-the-art frameworks by $5.5\times \sim 9.3\times$ in communication sizes and $3.9\times \sim 5.3\times$ in communication rounds. In terms of training time, Ents yields an improvement of $3.5\times \sim 6.7\times$. To demonstrate its practicality, Ents requires less than three hours to securely train a decision tree on a widely used real-world dataset (Skin Segmentation) with more than 245,000 samples in the WAN setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL