Privacy-Preserving Language Model Inference with Instance Obfuscation

要約

Language Models as a Service (LMaaS) は、開発者や研究者が事前にトレーニングされた言語モデルを使用して推論を実行するための便利なアクセスを提供します。
それにもかかわらず、個人情報を含む入力データと推論結果はサービス呼び出し中に平文として公開されるため、プライバシーの問題が発生します。
最近の研究では、ノイズ付加やコンテンツ摂動などの技術を使用して、入力データをユーザー側からのプライバシー保護表現に変換することでプライバシー問題に取り組み始めていますが、推論結果の保護、つまり決定プライバシーの探求はまだ白紙の状態です。
。
LMaaS のブラックボックス方式を維持するために、プロセスがモデルに対してシームレスであり、限られた通信と計算のオーバーヘッドを伴う必要があるため、データ プライバシー保護の実行、特に意思決定は困難な作業です。
そこで、我々は、ライフサイクル全体における自然言語理解タスクの意思決定プライバシー問題に対処することに焦点を当てた、インスタンス難読化推論 (IOI) 手法を提案します。
さらに、さまざまなベンチマークタスクについて、提案された方法のパフォーマンスとプライバシー保護の強度を評価するための包括的な実験を実行します。

要約(オリジナル)

Language Models as a Service (LMaaS) offers convenient access for developers and researchers to perform inference using pre-trained language models. Nonetheless, the input data and the inference results containing private information are exposed as plaintext during the service call, leading to privacy issues. Recent studies have started tackling the privacy issue by transforming input data into privacy-preserving representation from the user-end with the techniques such as noise addition and content perturbation, while the exploration of inference result protection, namely decision privacy, is still a blank page. In order to maintain the black-box manner of LMaaS, conducting data privacy protection, especially for the decision, is a challenging task because the process has to be seamless to the models and accompanied by limited communication and computation overhead. We thus propose Instance-Obfuscated Inference (IOI) method, which focuses on addressing the decision privacy issue of natural language understanding tasks in their complete life-cycle. Besides, we conduct comprehensive experiments to evaluate the performance as well as the privacy-protection strength of the proposed method on various benchmarking tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google