Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning

要約

タイトル: 耐久性のあるサブネットワークは転移学習において優れた転移性能を示す：転移学習における転移可能なサブネットワークをより多く描画するために

要約:

– 転移学習は、データ豊富なソースタスクで事前にトレーニングされたディープニューラルネットワーク（DNNs）の特徴表現を活用して、ダウンストリームタスクの効果的な微調整を実現します。
– しかし、事前にトレーニングされたモデルは一般化された表現を提供するには大きすぎるため、制限されたリソースを持つエッジデバイス上での展開が制限されています。
– このギャップを埋めるために、適切に誘発された敵対的な堅牢性で描かれたサブネットワークが、バニラの抽選券サブネットワークよりもより優れた転移性能を示すことがわかったことを活用する新しい転移学習パイプラインを提案しています。
– 多様なダウンストリームタスクや疎における精度と疎さのトレードオフにおいて、私たちの提案された転移学習パイプラインが強化された精度-疎さのトレードオフを達成できることを、幅広い実験と消去法の研究により検証し、抽選券仮説をさらに豊かにした。

要約(オリジナル)

Transfer learning leverages feature representations of deep neural networks (DNNs) pretrained on source tasks with rich data to empower effective finetuning on downstream tasks. However, the pretrained models are often prohibitively large for delivering generalizable representations, which limits their deployment on edge devices with constrained resources. To close this gap, we propose a new transfer learning pipeline, which leverages our finding that robust tickets can transfer better, i.e., subnetworks drawn with properly induced adversarial robustness can win better transferability over vanilla lottery ticket subnetworks. Extensive experiments and ablation studies validate that our proposed transfer learning pipeline can achieve enhanced accuracy-sparsity trade-offs across both diverse downstream tasks and sparsity patterns, further enriching the lottery ticket hypothesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI