SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language Models for Private and Secure Inference

要約

このペーパーでは、さまざまな最新の AI ベースのアプリケーションで重要なコンポーネントとして機能するディープ ニューラル言語モデルに関連するプライバシーとセキュリティの問題について取り上げます。
これらのモデルは、多くの場合、インターネット経由でアクセスされるサーバーに展開され、特定のタスク向けに事前トレーニングおよび微調整された後に使用されます。
ただし、これには 2 つの基本的なリスクが伴います。(a) ネットワークを介してユーザー入力がサーバーに送信されると、傍受の脆弱性が生じます。(b) このようなモデルを導入する組織は、コンテキストが制限されたユーザー データを保存するため、プライバシー上の懸念が生じます。
これに対処するために、パスキーで暗号化されたユーザー固有のテキストにトランスフォーマーベースの言語モデルを適応させ、微調整する新しい方法を提案します。
元の事前トレーニングされた言語モデルは、まずトークナイザーとトークンの埋め込みに適用される一連の不可逆変換によって (さらなる事前トレーニングなしで) 迅速な適応を受けます。
これにより、モデルは、モデル パラメーターや中間出力からのテキストのリバース エンジニアリングを防止しながら、暗号化された入力に対して推論を実行できるようになります。
適応後、モデルは既存のトレーニング データセットの暗号化されたバージョンに基づいて微調整されます。
確立されたベンチマーク英語データセットおよびテキスト分類およびシーケンスラベル付け用の多言語データセット全体で、有名なモデル (BERT、RoBERTa など) の適応バージョンを使用した実験評価では、暗号化されたモデルが元のモデルと同等のパフォーマンスを達成することが示されています。
これにより、パフォーマンス、プライバシー、セキュリティが一体的に保護されます。

要約(オリジナル)

This paper addresses the privacy and security concerns associated with deep neural language models, which serve as crucial components in various modern AI-based applications. These models are often used after being pre-trained and fine-tuned for specific tasks, with deployment on servers accessed through the internet. However, this introduces two fundamental risks: (a) the transmission of user inputs to the server via the network gives rise to interception vulnerabilities, and (b) privacy concerns emerge as organizations that deploy such models store user data with restricted context. To address this, we propose a novel method to adapt and fine-tune transformer-based language models on passkey-encrypted user-specific text. The original pre-trained language model first undergoes a quick adaptation (without any further pre-training) with a series of irreversible transformations applied to the tokenizer and token embeddings. This enables the model to perform inference on encrypted inputs while preventing reverse engineering of text from model parameters and intermediate outputs. After adaptation, models are fine-tuned on encrypted versions of existing training datasets. Experimental evaluation employing adapted versions of renowned models (e.g., BERT, RoBERTa) across established benchmark English and multilingual datasets for text classification and sequence labeling shows that encrypted models achieve performance parity with their original counterparts. This serves to safeguard performance, privacy, and security cohesively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google