Attacking Motion Estimation with Adversarial Snow

要約

モーション推定 (オプティカル フロー) に対する現在の敵対的攻撃は、ピクセルごとの小さな摂動を最適化しますが、これは現実の世界では起こりそうにありません。
対照的に、敵対的に最適化された雪による新しい攻撃のために、現実世界の気象現象を利用します。
私たちの攻撃の核心は、写真のようにリアルな雪片とリアルな動きを一貫して 3D シーンに統合する微分可能なレンダラーです。
最適化により、オプティカル フローに大きな影響を与えながら、通常の雪と見分けがつかない敵対的な雪を取得します。
驚くべきことに、私たちの新しい攻撃の影響は、以前に小さな L_p 摂動に対して高いロバスト性を示した方法に対して最大です。

要約(オリジナル)

Current adversarial attacks for motion estimation (optical flow) optimize small per-pixel perturbations, which are unlikely to appear in the real world. In contrast, we exploit a real-world weather phenomenon for a novel attack with adversarially optimized snow. At the core of our attack is a differentiable renderer that consistently integrates photorealistic snowflakes with realistic motion into the 3D scene. Through optimization we obtain adversarial snow that significantly impacts the optical flow while being indistinguishable from ordinary snow. Surprisingly, the impact of our novel attack is largest on methods that previously showed a high robustness to small L_p perturbations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google