Distracting Downpour: Adversarial Weather Attacks for Motion Estimation

要約

タイトル：『迷惑な豪雨：動きの推定のための敵対的な気象攻撃』

要約：

– 敵対的攻撃が光流の小さなピクセルの摂動に最適化されているが、本物の世界では現れない可能性がある。
– 代わりに、悪天候はより現実的な脅威シナリオを構成する。
– 本研究では、敵対的に最適化された粒子を利用して、雪片、雨滴、霧雲などの天気効果を模倣する動きの推定に対する新しい攻撃を提案する。
– 攻撃フレームワークの中核には、複数のタイムステップで粒子を一貫して、3D空間に、写真のような外観で集積する可微分性のある粒子レンダリングシステムがある。
– 最適化を通じて、動きの推定に重大な影響を与える敵対的な気象を得ることができる。
– 驚くべきことに、以前に小さなピクセルの摂動に対して良好な耐性を示した手法は、敵対的な気象に対して特に脆弱であることがわかった。
– 同時に、非最適化の気象をトレーニングに追加することで、方法の耐候性が向上し、ほとんど追加コストなしで汎化能力が向上する。

要約(オリジナル)

Current adversarial attacks on motion estimation, or optical flow, optimize small per-pixel perturbations, which are unlikely to appear in the real world. In contrast, adverse weather conditions constitute a much more realistic threat scenario. Hence, in this work, we present a novel attack on motion estimation that exploits adversarially optimized particles to mimic weather effects like snowflakes, rain streaks or fog clouds. At the core of our attack framework is a differentiable particle rendering system that integrates particles (i) consistently over multiple time steps (ii) into the 3D space (iii) with a photo-realistic appearance. Through optimization, we obtain adversarial weather that significantly impacts the motion estimation. Surprisingly, methods that previously showed good robustness towards small per-pixel perturbations are particularly vulnerable to adversarial weather. At the same time, augmenting the training with non-optimized weather increases a method’s robustness towards weather effects and improves generalizability at almost no additional cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI