TeleSparse: Practical Privacy-Preserving Verification of Deep Neural Networks

要約

深い学習推論の完全性の検証は、モデルが正しく適用されているかどうかを理解するために重要です。
ただし、このような検証には通常、モデルの重みと（潜在的に敏感またはプライベートな）トレーニングデータへのアクセスが必要です。
いわゆるゼロ知識の簡潔な知識の非対話的議論（ZK-snarks）は、そのような機密データにアクセスせずにモデル推論を検証する能力を提供するように見えます。
ただし、変圧器や大型ビジョンモデルなどの最新のニューラルネットワークにZK-SNARKを適用すると、重要な計算オーバーヘッドが導入されます。
この問題に対する実用的な解決策を生み出すために、ZKに優しい郵便後処理メカニズムであるTelesparseを提示します。
TelesParseは、ZK-SNARKを最新のニューラルネットワークに適用することに固有の2つの基本的な課題に取り組んでいます。（1）回路の制約を減らす：過剰パラメーター化されたモデルは、ZK-SNARK検証のために多数の制約をもたらし、記憶と証明の生成コストを駆り立てます。
これに対処し、神経ネットワークモデルにスパース化を適用し、精度やセキュリティを損なうことなく証明効率を高めます。
（2）活性化関数の範囲を絞り込むための新しい適応であるニューラルテレポーテーションを通じて活性化範囲を最適化することにより、非線形関数に必要なルックアップテーブルのサイズを最小化します。
Telesparseは、同じモデルでProverメモリの使用量を67％、証明生成時間を46％削減し、精度のトレードオフは約1％です。
HALO2証明システムを使用してフレームワークを実装し、複数のアーキテクチャ（Vision-Transformer、Resnet、MobileNet）およびデータセット（Imagenet、CIFAR-10、CIFAR-100）にわたってその有効性を実証します。
この作業は、ZKに優しいモデル設計の新しい方向性を開き、スケーラブルでリソース効率の良い検証可能な深い学習に向かって移動します。

要約(オリジナル)

Verification of the integrity of deep learning inference is crucial for understanding whether a model is being applied correctly. However, such verification typically requires access to model weights and (potentially sensitive or private) training data. So-called Zero-knowledge Succinct Non-Interactive Arguments of Knowledge (ZK-SNARKs) would appear to provide the capability to verify model inference without access to such sensitive data. However, applying ZK-SNARKs to modern neural networks, such as transformers and large vision models, introduces significant computational overhead. We present TeleSparse, a ZK-friendly post-processing mechanisms to produce practical solutions to this problem. TeleSparse tackles two fundamental challenges inherent in applying ZK-SNARKs to modern neural networks: (1) Reducing circuit constraints: Over-parameterized models result in numerous constraints for ZK-SNARK verification, driving up memory and proof generation costs. We address this by applying sparsification to neural network models, enhancing proof efficiency without compromising accuracy or security. (2) Minimizing the size of lookup tables required for non-linear functions, by optimizing activation ranges through neural teleportation, a novel adaptation for narrowing activation functions’ range. TeleSparse reduces prover memory usage by 67% and proof generation time by 46% on the same model, with an accuracy trade-off of approximately 1%. We implement our framework using the Halo2 proving system and demonstrate its effectiveness across multiple architectures (Vision-transformer, ResNet, MobileNet) and datasets (ImageNet,CIFAR-10,CIFAR-100). This work opens new directions for ZK-friendly model design, moving toward scalable, resource-efficient verifiable deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google