MACAB: Model-Agnostic Clean-Annotation Backdoor to Object Detection with Natural Trigger in Real-World

要約

物体検出は、セグメンテーション、物体追跡、イベント検出など、様々な重要なコンピュータビジョンタスクの基礎となるものである。物体検出器を満足のいく精度で学習させるためには、大量のデータが必要です。しかし、大規模なデータセットにアノテーションを施すには多大な労力を要するため、このようなデータキュレーション作業はしばしば第三者に委託されたり、ボランティアに頼られたりしているのが現状である。本研究は、このようなデータキュレーションパイプラインの深刻な脆弱性を明らかにするものである。我々は、データキュレータが手動で画像を監査できる場合でも、きれいにアノテーションされた画像を細工して、その画像で学習させた物体検出器にこっそりバックドアを埋め込むMACABを提案する。我々は、バックドアが目立たない自然な物理的トリガーで起動された場合、誤分類と隠蔽の両方のバックドア効果が野生で強固に達成されることを観察する。クリーンアノテーションを用いた非分類物体検出のバックドアは、クリーンラベルを用いた既存の画像分類タスクのバックドアと比較して、被害者と非被害者を含む複数の物体が各フレーム内に存在する複雑さのために、困難である。MACABの有効性は、建設的にiディープラーニングフレームワークによって使用される画像スケーリング関数を悪用し、ii提案された敵対的クリーン画像レプリカ技術を取り入れ、iii制約された攻撃予算が与えられた毒データ選択基準を組み合わせることによって保証される。広範な実験により、MACABは様々な実世界のシーンで90%以上の攻撃成功率を示すことが実証されています。これは、少ない攻撃予算で、クローキングと誤分類のバックドア効果を含む。毒されたサンプルは、最先端の検出技術では効果的に識別できません。包括的なビデオデモは、https://youtu.be/MA7L_LpXkp4。これは、YOLOv4クローキングバックドアとFaster R-CNN誤分類バックドアに対する0.14%の毒率に基づくものです。

要約(オリジナル)

Object detection is the foundation of various critical computer-vision tasks such as segmentation, object tracking, and event detection. To train an object detector with satisfactory accuracy, a large amount of data is required. However, due to the intensive workforce involved with annotating large datasets, such a data curation task is often outsourced to a third party or relied on volunteers. This work reveals severe vulnerabilities of such data curation pipeline. We propose MACAB that crafts clean-annotated images to stealthily implant the backdoor into the object detectors trained on them even when the data curator can manually audit the images. We observe that the backdoor effect of both misclassification and the cloaking are robustly achieved in the wild when the backdoor is activated with inconspicuously natural physical triggers. Backdooring non-classification object detection with clean-annotation is challenging compared to backdooring existing image classification tasks with clean-label, owing to the complexity of having multiple objects within each frame, including victim and non-victim objects. The efficacy of the MACAB is ensured by constructively i abusing the image-scaling function used by the deep learning framework, ii incorporating the proposed adversarial clean image replica technique, and iii combining poison data selection criteria given constrained attacking budget. Extensive experiments demonstrate that MACAB exhibits more than 90% attack success rate under various real-world scenes. This includes both cloaking and misclassification backdoor effect even restricted with a small attack budget. The poisoned samples cannot be effectively identified by state-of-the-art detection techniques.The comprehensive video demo is at https://youtu.be/MA7L_LpXkp4, which is based on a poison rate of 0.14% for YOLOv4 cloaking backdoor and Faster R-CNN misclassification backdoor.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL