Dynamic Gradient Balancing for Enhanced Adversarial Attacks on Multi-Task Models

要約

マルチタスク学習 (MTL) は、複数のタスクを同時に実行するために、マルチタスク モデルと呼ばれる単一の機械学習モデルを作成します。
シングルタスク分類器のセキュリティは広範囲に研究されていますが、マルチタスク モデルには、1) シングル タスクの敵対的機械学習攻撃に対してマルチタスク モデルがどの程度安全であるか、2) 敵対的攻撃は次のように設計できるかなど、マルチタスク モデルに関するいくつかの重要なセキュリティ研究上の疑問があります。
3) タスク共有と敵対的トレーニングは、敵対的攻撃に対するマルチタスク モデルの堅牢性を高めますか?
この論文では、慎重な分析と厳密な実験を通じてこれらの質問に答えます。
まず、シングルタスク ホワイトボックス攻撃の単純な適応を開発し、その固有の欠点を分析します。
次に、新しい攻撃フレームワークである Dynamic Gradient Balancing Attack (DGBA) を提案します。
私たちのフレームワークは、平均相対損失変化に基づく最適化問題としてマルチタスク モデルを攻撃する問題を提起します。これは、問題を整数線形計画問題として近似することで解決できます。
2 つの人気のある MTL ベンチマーク、NYUv2 と Tiny-Taxonomy の広範な評価により、クリーンなマルチタスク モデルと敵対的にトレーニングされたマルチタスク モデルの両方での単純なマルチタスク攻撃ベースラインと比較した DGBA の有効性が実証されています。
この結果は、タスク間でパラメーターを共有することによるタスクの精度の向上と、パラメーターの共有による攻撃伝達性の向上によるモデルの堅牢性の低下との間の基本的なトレードオフも明らかにしました。
DGBA はオープンソースであり、https://github.com/zhanglijun95/MTL Attack-DGBA から入手できます。

要約(オリジナル)

Multi-task learning (MTL) creates a single machine learning model called multi-task model to simultaneously perform multiple tasks. Although the security of single task classifiers has been extensively studied, there are several critical security research questions for multi-task models including 1) How secure are multi-task models to single task adversarial machine learning attacks, 2) Can adversarial attacks be designed to attack multiple tasks simultaneously, and 3) Does task sharing and adversarial training increase multi-task model robustness to adversarial attacks? In this paper, we answer these questions through careful analysis and rigorous experimentation. First, we develop na\’ive adaptation of single-task white-box attacks and analyze their inherent drawbacks. We then propose a novel attack framework, Dynamic Gradient Balancing Attack (DGBA). Our framework poses the problem of attacking a multi-task model as an optimization problem based on averaged relative loss change, which can be solved by approximating the problem as an integer linear programming problem. Extensive evaluation on two popular MTL benchmarks, NYUv2 and Tiny-Taxonomy, demonstrates the effectiveness of DGBA compared to na\’ive multi-task attack baselines on both clean and adversarially trained multi-task models. The results also reveal a fundamental trade-off between improving task accuracy by sharing parameters across tasks and undermining model robustness due to increased attack transferability from parameter sharing. DGBA is open-sourced and available at https://github.com/zhanglijun95/MTLAttack-DGBA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google