Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models

要約

Whisper のような大規模な音声基盤モデルの最近の開発により、多くの自動音声認識 (ASR) アプリケーションで広く使用されるようになりました。
これらのシステムは、言語生成プロセスをガイドするために、$\texttt{<|endoftext|>}$ などの「特別なトークン」を語彙に組み込んでいます。
ただし、これらのトークンが敵対的な攻撃によって悪用され、モデルの動作を操作できることを示します。
我々は、Whisper の $\texttt{<|endoftext|>}$ トークンの普遍的な音響実現を学習するためのシンプルかつ効果的な方法を提案します。これは、音声信号の前に追加されると、モデルが音声を無視して特別なトークンのみを転写することを促します。
、事実上モデルを「ミュート」します。
私たちの実験では、同じ普遍的な 0.64 秒の敵対的音声セグメントが、ターゲットの Whisper ASR モデルの音声サンプルの 97\% 以上を正常にミュートできることを示しています。
さらに、この普遍的な敵対的な音声セグメントが新しいデータセットやタスクに転送されることが多いことがわかりました。
全体として、この研究は、敵対的攻撃を「ミュート」するための Whisper モデルの脆弱性を示しています。このような攻撃は、現実世界の設定においてリスクと潜在的な利点の両方をもたらす可能性があります。たとえば、この攻撃は音声モデレーション システムをバイパスするために使用される可能性があり、逆に、この攻撃は、
プライベートな音声データを保護するためにも使用されます。

要約(オリジナル)

Recent developments in large speech foundation models like Whisper have led to their widespread use in many automatic speech recognition (ASR) applications. These systems incorporate `special tokens’ in their vocabulary, such as $\texttt{<|endoftext|>}$, to guide their language generation process. However, we demonstrate that these tokens can be exploited by adversarial attacks to manipulate the model’s behavior. We propose a simple yet effective method to learn a universal acoustic realization of Whisper’s $\texttt{<|endoftext|>}$ token, which, when prepended to any speech signal, encourages the model to ignore the speech and only transcribe the special token, effectively `muting’ the model. Our experiments demonstrate that the same, universal 0.64-second adversarial audio segment can successfully mute a target Whisper ASR model for over 97\% of speech samples. Moreover, we find that this universal adversarial audio segment often transfers to new datasets and tasks. Overall this work demonstrates the vulnerability of Whisper models to `muting’ adversarial attacks, where such attacks can pose both risks and potential benefits in real-world settings: for example the attack can be used to bypass speech moderation systems, or conversely the attack can also be used to protect private speech data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google