Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models

要約

柔軟な音声認識ベースのシステムまたは音声プロンプトの大規模言語モデル (LLM) のいずれかの形式で、音声対応の基礎モデルの人気が高まっています。
これらのモデルの興味深い側面の 1 つは、適切なプロンプトを使用して自動音声認識 (ASR) 以外のタスクを実行できることです。
たとえば、OpenAI Whisper モデルは、音声の書き起こしと音声翻訳の両方を実行できます。
音声指示による LLM の開発により、さらに優れた制御オプションが可能になる可能性があります。
この研究では、この柔軟性の向上により、システムがモデル制御による敵対的攻撃の影響を受けやすくなる可能性があることを実証します。
モデル プロンプトにアクセスしなくても、オーディオ入力を適切に変更することでシステムの動作を変更できます。
このリスクを説明するために、短い普遍的な敵対的音響セグメントを任意の入力音声信号の前に追加して、ASR 基盤モデルのプロンプト設定をオーバーライドできることを示します。
具体的には、ユニバーサル敵対的音響セグメントを使用して、音声転写を実行するように設定されているにもかかわらず、常に音声翻訳を実行するように Whisper を制御することに成功しました。
全体として、この研究は、マルチタスク音声対応基盤モデルに対する新しい形式の敵対的攻撃を示しており、この形式のモデルを展開する前に検討する必要があります。

要約(オリジナル)

Speech enabled foundation models, either in the form of flexible speech recognition based systems or audio-prompted large language models (LLMs), are becoming increasingly popular. One of the interesting aspects of these models is their ability to perform tasks other than automatic speech recognition (ASR) using an appropriate prompt. For example, the OpenAI Whisper model can perform both speech transcription and speech translation. With the development of audio-prompted LLMs there is the potential for even greater control options. In this work we demonstrate that with this greater flexibility the systems can be susceptible to model-control adversarial attacks. Without any access to the model prompt it is possible to modify the behaviour of the system by appropriately changing the audio input. To illustrate this risk, we demonstrate that it is possible to prepend a short universal adversarial acoustic segment to any input speech signal to override the prompt setting of an ASR foundation model. Specifically, we successfully use a universal adversarial acoustic segment to control Whisper to always perform speech translation, despite being set to perform speech transcription. Overall, this work demonstrates a new form of adversarial attack on multi-tasking speech enabled foundation models that needs to be considered prior to the deployment of this form of model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google