PhantomSound: Black-Box, Query-Efficient Audio Adversarial Attack via Split-Second Phoneme Injection

要約

この論文では、音声アシスタントに対するクエリ効率の高いブラックボックス攻撃である PhantomSound を提案します。
音声アシスタントに対する既存のブラックボックス攻撃は、置換モデルを適用するか、中間モデルの出力を利用して、敵対的な音声サンプルを作成するための勾配を推定します。
ただし、これらの攻撃アプローチでは、長いトレーニング段階で大量のクエリが必要になります。
PhantomSound は、意思決定ベースの攻撃を利用して効果的な敵対的オーディオを生成し、勾配推定を最適化することでクエリの数を削減します。
実験では、リアルタイム攻撃の影響を実証するために、3 つの現実世界のシナリオの下で 4 つの異なる音声テキスト変換 API に対して攻撃を実行します。
結果は、PhantomSound が 5 つの一般的な市販の音声制御可能なデバイスを無線で攻撃する際に実用的かつ堅牢であり、95% を超える成功率で 3 つの活性検出メカニズムをバイパスできることを示しています。
ベンチマーク結果は、PhantomSound が敵対的な例を生成し、数分以内に攻撃を開始できることを示しています。
クエリ効率が大幅に向上し、わずか約 300 クエリ (約 5 分) を使用して、最先端のブラックボックス攻撃と比較して、ターゲットを絞らない敵対的攻撃とターゲットを絞った敵対的攻撃の成功コストを 93.1% および 65.5% 削減します。
それぞれ最大 1,500 クエリ (約 25 分)。

要約(オリジナル)

In this paper, we propose PhantomSound, a query-efficient black-box attack toward voice assistants. Existing black-box adversarial attacks on voice assistants either apply substitution models or leverage the intermediate model output to estimate the gradients for crafting adversarial audio samples. However, these attack approaches require a significant amount of queries with a lengthy training stage. PhantomSound leverages the decision-based attack to produce effective adversarial audios, and reduces the number of queries by optimizing the gradient estimation. In the experiments, we perform our attack against 4 different speech-to-text APIs under 3 real-world scenarios to demonstrate the real-time attack impact. The results show that PhantomSound is practical and robust in attacking 5 popular commercial voice controllable devices over the air, and is able to bypass 3 liveness detection mechanisms with >95% success rate. The benchmark result shows that PhantomSound can generate adversarial examples and launch the attack in a few minutes. We significantly enhance the query efficiency and reduce the cost of a successful untargeted and targeted adversarial attack by 93.1% and 65.5% compared with the state-of-the-art black-box attacks, using merely ~300 queries (~5 minutes) and ~1,500 queries (~25 minutes), respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google