MTL-UE: Learning to Learn Nothing for Multi-Task Learning

要約

既存の既存の不等の戦略のほとんどは、個人データで不正なユーザーがシングルタスク学習（STL）モデルをトレーニングするのを防ぐことに焦点を当てています。
それにもかかわらず、このパラダイムは最近、複数のタスクを同時に処理できるジェネラリストと基礎モデルをターゲットにしたマルチタスクデータとマルチタスク学習（MTL）にシフトしました。
その重要性の高まりにもかかわらず、MTLデータとモデルは、達成できない戦略を追求している間、ほとんど無視されてきました。
このホワイトペーパーでは、マルチタスクデータとMTLモデルの不可能な例を生成するための最初の統一フレームワークであるMTL-UEを紹介します。
各サンプルの摂動を最適化する代わりに、ラベルプライアーとクラスごとの特徴を導入するジェネレーターベースの構造を設計し、攻撃パフォーマンスがはるかに優れています。
さらに、MTL-UEには、タスク内およびタスク間埋め込みの正規化が組み込まれており、クラス間分離を増やし、クラス内の分散を抑制して攻撃の堅牢性を大幅に向上させます。
さらに、MTL-UEは多用途性であり、MTLの密集した予測タスクに対する優れたサポートがあります。
また、プラグアンドプレイであり、既存のサロゲート依存性のない方法を統合して、ほとんど適応しません。
広範な実験では、MTL-UEが4つのMTLデータセット、3つのベースUEメソッド、5つのモデルバックボーン、および5つのMTLタスク重視戦略で一貫して優れた攻撃パフォーマンスを達成することが示されています。

要約(オリジナル)

Most existing unlearnable strategies focus on preventing unauthorized users from training single-task learning (STL) models with personal data. Nevertheless, the paradigm has recently shifted towards multi-task data and multi-task learning (MTL), targeting generalist and foundation models that can handle multiple tasks simultaneously. Despite their growing importance, MTL data and models have been largely neglected while pursuing unlearnable strategies. This paper presents MTL-UE, the first unified framework for generating unlearnable examples for multi-task data and MTL models. Instead of optimizing perturbations for each sample, we design a generator-based structure that introduces label priors and class-wise feature embeddings which leads to much better attacking performance. In addition, MTL-UE incorporates intra-task and inter-task embedding regularization to increase inter-class separation and suppress intra-class variance which enhances the attack robustness greatly. Furthermore, MTL-UE is versatile with good supports for dense prediction tasks in MTL. It is also plug-and-play allowing integrating existing surrogate-dependent unlearnable methods with little adaptation. Extensive experiments show that MTL-UE achieves superior attacking performance consistently across 4 MTL datasets, 3 base UE methods, 5 model backbones, and 5 MTL task-weighting strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google