Towards Physical World Backdoor Attacks against Skeleton Action Recognition

要約

Skeleton Action Recognition (SAR) は、人間の骨格構造を効率的に表現するものとして大きな関心を集めています。
その進歩にもかかわらず、最近の研究では SAR モデルのセキュリティ上の懸念、特に敵対的攻撃に対する脆弱性が提起されています。
ただし、このような戦略はデジタル シナリオに限定されており、物理的な攻撃には効果がないため、現実世界への適用性は限られています。
物理世界における SAR の脆弱性を調査するために、SAR に対する物理的バックドア攻撃の最初の調査である物理スケルトン バックドア攻撃 (PSBA) を紹介します。
物理的実行の実用性を考慮して、まれで知覚できないアクションをトリガーとして元のスケルトンデータに統合する新しいトリガー埋め込み方法を導入します。
PSBA は、この操作されたデータを最小限の量でトレーニング セットに組み込むことにより、トリガー アクションが存在するときにシステムがスケルトン シーケンスをターゲット クラスに誤分類できるようにします。
私たちは、ポイズニングされたシナリオとクリーンラベルのシナリオの両方で PSBA の回復力を調査し、さまざまなデータセット、ポイズニング率、モデル アーキテクチャにわたる PSBA の有効性を実証します。
さらに、クリーンラベル設定での攻撃パフォーマンスを強化するトリガー強化戦略を導入します。
PSBA の堅牢性は 3 つの異なるバックドア防御に対してテストされ、PSBA のステルス性は 2 つの定量的指標を使用して評価されます。
さらに、Kinect V2 カメラを使用することで、物理的な攻撃状況を模倣する現実世界の人間の行動のデータセットを編集し、提案した攻撃の有効性を確認した結果が得られました。
私たちのプロジェクトの Web サイトは、https://qichenzheng.github.io/psba-website にあります。

要約(オリジナル)

Skeleton Action Recognition (SAR) has attracted significant interest for its efficient representation of the human skeletal structure. Despite its advancements, recent studies have raised security concerns in SAR models, particularly their vulnerability to adversarial attacks. However, such strategies are limited to digital scenarios and ineffective in physical attacks, limiting their real-world applicability. To investigate the vulnerabilities of SAR in the physical world, we introduce the Physical Skeleton Backdoor Attacks (PSBA), the first exploration of physical backdoor attacks against SAR. Considering the practicalities of physical execution, we introduce a novel trigger implantation method that integrates infrequent and imperceivable actions as triggers into the original skeleton data. By incorporating a minimal amount of this manipulated data into the training set, PSBA enables the system misclassify any skeleton sequences into the target class when the trigger action is present. We examine the resilience of PSBA in both poisoned and clean-label scenarios, demonstrating its efficacy across a range of datasets, poisoning ratios, and model architectures. Additionally, we introduce a trigger-enhancing strategy to strengthen attack performance in the clean label setting. The robustness of PSBA is tested against three distinct backdoor defenses, and the stealthiness of PSBA is evaluated using two quantitative metrics. Furthermore, by employing a Kinect V2 camera, we compile a dataset of human actions from the real world to mimic physical attack situations, with our findings confirming the effectiveness of our proposed attacks. Our project website can be found at https://qichenzheng.github.io/psba-website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google