Modeling Electromagnetic Signal Injection Attacks on Camera-based Smart Systems: Applications and Mitigation

要約

多くの安全性またはセキュリティクリティカルなシステムは、周囲の状況を認識するためにカメラに依存しており、さらに人工知能 (AI) が撮影した画像を分析して重要な決定を下すことを可能にしています。
しかし、懸念される攻撃ベクトル、つまり、これらのシステムの完全性に対する脅威となる電磁波が出現しています。
このような攻撃により、攻撃者は遠隔から画像を操作できるようになり、AIによる誤った判断、たとえば自動運転車が前方の障害物を検出できずに衝突が起こるなどの事態につながる可能性がある。
このような攻撃に対してさまざまなシステムがどのように反応するかについての理解が不足していると、重大なセキュリティ リスクが生じます。
さらに、この脅威を軽減するための効果的な解決策は実証されていません。
これらのギャップに対処するために、私たちは攻撃をモデル化し、敵対的な画像を生成するシミュレーション方法を開発しました。
厳密な分析を通じて、シミュレートされた敵対的な画像の影響は実際の攻撃によるものと区別できないことを確認しました。
この方法により、研究者やエンジニアは、複雑な攻撃デバイスを構築することなく、さまざまな AI ビジョン アプリケーションのこれらの攻撃に対する感受性を迅速に評価できるようになります。
私たちの実験では、ほとんどのモデルでこれらの攻撃に対する脆弱性が実証され、堅牢性を強化する必要性が強調されました。
幸いなことに、私たちのモデリングとシミュレーションの方法は、より回復力のあるモデルを開発するための足がかりとして機能します。
私たちは、攻撃に対する堅牢性を向上させるための敵対的トレーニングに関するパイロット研究を紹介します。その結果は、パフォーマンスが最大 91% 回復するという大幅な改善を示し、この脅威を軽減するための有望な方向性を示しています。

要約(オリジナル)

Numerous safety- or security-critical systems depend on cameras to perceive their surroundings, further allowing artificial intelligence (AI) to analyze the captured images to make important decisions. However, a concerning attack vector has emerged, namely, electromagnetic waves, which pose a threat to the integrity of these systems. Such attacks enable attackers to manipulate the images remotely, leading to incorrect AI decisions, e.g., autonomous vehicles missing detecting obstacles ahead resulting in collisions. The lack of understanding regarding how different systems react to such attacks poses a significant security risk. Furthermore, no effective solutions have been demonstrated to mitigate this threat. To address these gaps, we modeled the attacks and developed a simulation method for generating adversarial images. Through rigorous analysis, we confirmed that the effects of the simulated adversarial images are indistinguishable from those from real attacks. This method enables researchers and engineers to rapidly assess the susceptibility of various AI vision applications to these attacks, without the need for constructing complicated attack devices. In our experiments, most of the models demonstrated vulnerabilities to these attacks, emphasizing the need to enhance their robustness. Fortunately, our modeling and simulation method serves as a stepping stone toward developing more resilient models. We present a pilot study on adversarial training to improve their robustness against attacks, and our results demonstrate a significant improvement by recovering up to 91% performance, offering a promising direction for mitigating this threat.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google