Distracting Downpour: Adversarial Weather Attacks for Motion Estimation

要約

動き推定、またはオプティカル フローに対する現在の敵対的攻撃は、現実世界では発生する可能性が低い、ピクセルごとの小さな摂動を最適化します。
対照的に、悪天候はより現実的な脅威シナリオを構成します。
したがって、この研究では、敵対的に最適化された粒子を利用して雪片、雨筋、霧雲などの気象効果を模倣する、動き推定に対する新しい攻撃を紹介します。
私たちの攻撃フレームワークの中核となるのは、微分可能な粒子レンダリング システムであり、粒子 (i) 複数のタイム ステップにわたって一貫して (ii) フォトリアリスティックな外観で 3D 空間 (iii) に統合されます。
最適化を通じて、動きの推定に大きな影響を与える逆境を取得します。
驚くべきことに、以前はピクセルごとの小さな摂動に対して優れた堅牢性を示していた手法は、悪天候に対して特に脆弱です。
同時に、最適化されていない天候を使用してトレーニングを強化すると、追加コストをほとんどかけずに、天候の影響に対するメソッドの堅牢性が向上し、一般化可能性が向上します。
私たちのコードは https://github.com/cv-stuttgart/DistractingDownpour で入手できます。

要約(オリジナル)

Current adversarial attacks on motion estimation, or optical flow, optimize small per-pixel perturbations, which are unlikely to appear in the real world. In contrast, adverse weather conditions constitute a much more realistic threat scenario. Hence, in this work, we present a novel attack on motion estimation that exploits adversarially optimized particles to mimic weather effects like snowflakes, rain streaks or fog clouds. At the core of our attack framework is a differentiable particle rendering system that integrates particles (i) consistently over multiple time steps (ii) into the 3D space (iii) with a photo-realistic appearance. Through optimization, we obtain adversarial weather that significantly impacts the motion estimation. Surprisingly, methods that previously showed good robustness towards small per-pixel perturbations are particularly vulnerable to adversarial weather. At the same time, augmenting the training with non-optimized weather increases a method’s robustness towards weather effects and improves generalizability at almost no additional cost. Our code will be available at https://github.com/cv-stuttgart/DistractingDownpour.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google