Noise Masking Attacks and Defenses for Pretrained Speech Models

要約

音声モデルは多くの場合、モデルのパフォーマンスを向上させるために機密データに基づいてトレーニングされるため、プライバシー漏洩の可能性が生じます。
私たちの研究では、Amid らによって導入されたノイズ マスキング攻撃を考慮しています。
2022 は、部分的にノイズに置き換えられた発話のトランスクリプトを要求することにより、自動音声認識 (ASR) モデルを攻撃します。
彼らは、トレーニング時にレコードが表示されると、モデルが記憶された機密性の高いトランスクリプトを使用してノイズの多いレコードを転写することを示しています。
私たちの研究では、これらの攻撃を ASR モデルを超えて拡張し、事前トレーニングされた音声エンコーダーを攻撃します。
私たちの方法では、エンコーダーを微調整して ASR モデルを生成し、このモデルに対してノイズ マスキングを実行します。これにより、モデルが事前トレーニング時にトランスクリプトを一度も見たことがなかったにもかかわらず、事前トレーニング データから個人情報が復元されることがわかりました。
これらの攻撃の精度を向上させる方法を示し、攻撃に対するさまざまな対策を調査します。

要約(オリジナル)

Speech models are often trained on sensitive data in order to improve model performance, leading to potential privacy leakage. Our work considers noise masking attacks, introduced by Amid et al. 2022, which attack automatic speech recognition (ASR) models by requesting a transcript of an utterance which is partially replaced with noise. They show that when a record has been seen at training time, the model will transcribe the noisy record with its memorized sensitive transcript. In our work, we extend these attacks beyond ASR models, to attack pretrained speech encoders. Our method fine-tunes the encoder to produce an ASR model, and then performs noise masking on this model, which we find recovers private information from the pretraining data, despite the model never having seen transcripts at pretraining time! We show how to improve the precision of these attacks and investigate a number of countermeasures to our attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google