Towards an End-to-End (E2E) Adversarial Learning and Application in the Physical World

要約

パッチベースの敵対的攻撃の従来の学習プロセスは、デジタル ドメインで実行され、物理的ドメインに適用されます (印刷されたステッカーなどを介して) が、デジタル ドメインから物理的ドメインへの敵対的パッチの転送可能性が限られているため、パフォーマンスが低下する可能性があります。
ドメイン。
これまでの研究では敵対的攻撃を適用するためにプロジェクターを使用することが検討されてきたことを考えると、次の疑問が生じます。敵対的学習 (つまり、パッチ生成) は、プロジェクターを使用して物理ドメイン内で完全に実行できるのでしょうか?
この研究では、プロジェクターを使用して敵対的学習をデジタル ドメインから物理ドメインに変換する新しいエンドツーエンド (E2E) フレームワークである、物理ドメイン敵対的パッチ学習拡張 (PAPLA) フレームワークを提案します。
私たちは、制御された実験室設定や現実的な屋外環境を含む複数のシナリオにわたって PAPLA を評価し、従来のデジタル学習物理アプリケーション (DL-PA) 手法と比較して攻撃を確実に成功させる能力を実証します。
また、投影面の色、プロジェクターの強度、環境光、距離、カメラに対するターゲットオブジェクトの角度などの環境要因が、投影されたパッチの有効性に及ぼす影響も分析します。
最後に、実際の屋外環境で駐車中の車と一時停止標識に対する攻撃の実現可能性を示します。
私たちの結果は、特定の条件下では、物理ドメインでの E2E 敵対的学習によって転送可能性の問題が排除され、オブジェクト検出器による回避が確実になることが示されています。
最後に、物理領域に敵対的学習を適用する際の課題と機会についての洞察を提供し、そのようなアプローチがステッカーを使用するよりも効果的な場合について説明します。

要約(オリジナル)

The traditional learning process of patch-based adversarial attacks, conducted in the digital domain and then applied in the physical domain (e.g., via printed stickers), may suffer from reduced performance due to adversarial patches’ limited transferability from the digital domain to the physical domain. Given that previous studies have considered using projectors to apply adversarial attacks, we raise the following question: can adversarial learning (i.e., patch generation) be performed entirely in the physical domain with a projector? In this work, we propose the Physical-domain Adversarial Patch Learning Augmentation (PAPLA) framework, a novel end-to-end (E2E) framework that converts adversarial learning from the digital domain to the physical domain using a projector. We evaluate PAPLA across multiple scenarios, including controlled laboratory settings and realistic outdoor environments, demonstrating its ability to ensure attack success compared to conventional digital learning-physical application (DL-PA) methods. We also analyze the impact of environmental factors, such as projection surface color, projector strength, ambient light, distance, and angle of the target object relative to the camera, on the effectiveness of projected patches. Finally, we demonstrate the feasibility of the attack against a parked car and a stop sign in a real-world outdoor environment. Our results show that under specific conditions, E2E adversarial learning in the physical domain eliminates the transferability issue and ensures evasion by object detectors. Finally, we provide insights into the challenges and opportunities of applying adversarial learning in the physical domain and explain where such an approach is more effective than using a sticker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google