Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models

要約

音声認識ベースの柔軟なシステムや、音声プロンプト付きの大規模言語モデル（LLM）といった形で、音声を利用した基礎モデルの人気が高まっている。これらのモデルの興味深い点の一つは、適切なプロンプトを使用して自動音声認識（ASR）以外のタスクを実行する能力です。例えば、OpenAI Whisperモデルは、音声転写と音声翻訳の両方を行うことができます。音声プロンプト付きLLMの開発により、制御オプションがさらに広がる可能性があります。この研究では、このように柔軟性が高まると、システムがモデル制御の敵対的攻撃を受けやすくなることを実証します。モデル・プロンプトにアクセスすることなく、音声入力を適切に変更することでシステムの動作を変更することが可能である。このリスクを説明するために、ASRの基礎モデルのプロンプト設定を上書きするために、入力音声信号に敵対的な短いユニバーサル音響セグメントを付加することが可能であることを示します。具体的には、ユニバーサルな敵対的音響セグメントを使用することで、音声転写を行うように設定されているにもかかわらず、常に音声翻訳を行うようにWhisperを制御することに成功した。全体として、この研究は、マルチタスク音声を可能にする基礎モデルに対する敵対的な攻撃の新しい形式を実証しており、この形式のモデルを展開する前に考慮する必要がある。

要約(オリジナル)

Speech enabled foundation models, either in the form of flexible speech recognition based systems or audio-prompted large language models (LLMs), are becoming increasingly popular. One of the interesting aspects of these models is their ability to perform tasks other than automatic speech recognition (ASR) using an appropriate prompt. For example, the OpenAI Whisper model can perform both speech transcription and speech translation. With the development of audio-prompted LLMs there is the potential for even greater control options. In this work we demonstrate that with this greater flexibility the systems can be susceptible to model-control adversarial attacks. Without any access to the model prompt it is possible to modify the behaviour of the system by appropriately changing the audio input. To illustrate this risk, we demonstrate that it is possible to prepend a short universal adversarial acoustic segment to any input speech signal to override the prompt setting of an ASR foundation model. Specifically, we successfully use a universal adversarial acoustic segment to control Whisper to always perform speech translation, despite being set to perform speech transcription. Overall, this work demonstrates a new form of adversarial attack on multi-tasking speech enabled foundation models that needs to be considered prior to the deployment of this form of model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL