LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference

要約

Graph Convolution Network (GCN) モデル サイズの拡大により、多くのアプリケーションに革命が起こり、個人の医療システムや金融システムなどの分野で人間のパフォーマンスを超えています。
クラウドに GCN を展開すると、クライアント データに対する潜在的な敵対的攻撃により、プライバシー上の懸念が生じます。
セキュリティ上の懸念に対処するために、準同型暗号化 (HE) を使用したプライバシー保護機械学習 (PPML​​) により、クライアントの機密データが保護されます。
ただし、実際のアプリケーションではかなりの計算オーバーヘッドが発生します。
これらの課題に取り組むために、乗算の深さを減らし、HE ベースの GCN 推論のパフォーマンスを最適化するように設計されたフレームワークである LinGCN を紹介します。
LinGCN は、次の 3 つの主要な要素を中心に構造化されています。 (1) 微分可能な構造線形化アルゴリズム。パラメータ化された離散指標関数によって補完され、最適化目標を達成するためにモデルの重みを使用して同時トレーニングされます。
この戦略により、きめ細かいノードレベルの非線形位置選択が促進され、その結果、乗算の深さが最小限に抑えられたモデルが得られます。
(2) 2 次のトレーニング可能な活性化関数を備えたコンパクトなノードごとの多項式置換ポリシー。全 ReLU ベースの教師モデルからの 2 レベルの蒸留アプローチによって優れた収束を目指します。
(3) 強化された HE ソリューションにより、ノード単位のアクティベーション関数のよりきめの細かい演算子融合が可能になり、HE ベースの推論における乗算レベルの消費がさらに削減されます。
NTU-XVIEW スケルトン結合データセットでの実験では、LinGCN が準同型暗号化推論のレイテンシ、精度、スケーラビリティに優れ、CryptoGCN などのソリューションを上回っていることが明らかになりました。
注目すべきことに、LinGCN は、75% の推論精度を維持し、乗算の深さを大幅に削減しながら、CryptoGCN と比較して 14.2 倍のレイテンシーの高速化を実現します。

要約(オリジナル)

The growth of Graph Convolution Network (GCN) model sizes has revolutionized numerous applications, surpassing human performance in areas such as personal healthcare and financial systems. The deployment of GCNs in the cloud raises privacy concerns due to potential adversarial attacks on client data. To address security concerns, Privacy-Preserving Machine Learning (PPML) using Homomorphic Encryption (HE) secures sensitive client data. However, it introduces substantial computational overhead in practical applications. To tackle those challenges, we present LinGCN, a framework designed to reduce multiplication depth and optimize the performance of HE based GCN inference. LinGCN is structured around three key elements: (1) A differentiable structural linearization algorithm, complemented by a parameterized discrete indicator function, co-trained with model weights to meet the optimization goal. This strategy promotes fine-grained node-level non-linear location selection, resulting in a model with minimized multiplication depth. (2) A compact node-wise polynomial replacement policy with a second-order trainable activation function, steered towards superior convergence by a two-level distillation approach from an all-ReLU based teacher model. (3) an enhanced HE solution that enables finer-grained operator fusion for node-wise activation functions, further reducing multiplication level consumption in HE-based inference. Our experiments on the NTU-XVIEW skeleton joint dataset reveal that LinGCN excels in latency, accuracy, and scalability for homomorphically encrypted inference, outperforming solutions such as CryptoGCN. Remarkably, LinGCN achieves a 14.2x latency speedup relative to CryptoGCN, while preserving an inference accuracy of 75% and notably reducing multiplication depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google