SLIP: Securing LLMs IP Using Weights Decomposition

要約

大規模言語モデル (LLM) は、最近、学術界と産業界の両方で広く採用されています。
これらのモデルは成長するにつれて、所有者による莫大な投資を反映して貴重な知的財産 (IP) になります。
さらに、クラウドベースの展開のコストが高いため、エッジ デバイスへの展開への関心が高まっていますが、これには貴重なパラメータが盗難や不正使用にさらされる危険があります。
モデルの IP をエッジで保護する現在の方法には、実用性、精度の低下、要件への適合性の点で制限があります。
この論文では、エッジ展開モデルを盗難から保護するために設計された、SLIP という名前の新しいハイブリッド推論アルゴリズムを紹介します。
SLIP は、実際のアプリケーションに実用的であり、安全性が証明されていると同時に、精度の低下がゼロで遅延への影響も最小限に抑えられる、初のハイブリッド プロトコルです。
これには、安全だが高価な 2 つのコンピューティング リソースと、コスト効率は高いが脆弱な 2 つのコンピューティング リソースの間でモデルを分割することが含まれます。
これは行列分解によって実現され、安全なリソースが最小限の計算を実行しながらモデルの IP の最も機密性の高い部分を保持し、脆弱なリソースについてはその逆が保証されます。
重要なのは、このプロトコルには、攻撃者がパーティションを悪用して保護された情報を推測することを防ぐセキュリティ保証が含まれていることです。
最後に、私たちの方法の堅牢性と有効性を示す実験結果を提示し、それを LLM を保護するための魅力的なソリューションとして位置づけます。

要約(オリジナル)

Large language models (LLMs) have recently seen widespread adoption, in both academia and industry. As these models grow, they become valuable intellectual property (IP), reflecting enormous investments by their owners. Moreover, the high cost of cloud-based deployment has driven interest towards deployment to edge devices, yet this risks exposing valuable parameters to theft and unauthorized use. Current methods to protect models’ IP on the edge have limitations in terms of practicality, loss in accuracy, or suitability to requirements. In this paper, we introduce a novel hybrid inference algorithm, named SLIP, designed to protect edge-deployed models from theft. SLIP is the first hybrid protocol that is both practical for real-world applications and provably secure, while having zero accuracy degradation and minimal impact on latency. It involves partitioning the model between two computing resources, one secure but expensive, and another cost-effective but vulnerable. This is achieved through matrix decomposition, ensuring that the secure resource retains a maximally sensitive portion of the model’s IP while performing a minimal amount of computations, and vice versa for the vulnerable resource. Importantly, the protocol includes security guarantees that prevent attackers from exploiting the partition to infer the secured information. Finally, we present experimental results that show the robustness and effectiveness of our method, positioning it as a compelling solution for protecting LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google