Structure-Activation Synergy: A Dual Efficiency Framework for Parameter-Memory Optimized Transfer Learning

要約

パラメーター効率の高い転送学習（PETL）は、大規模な事前訓練モデルを適応させるためのトレーニング可能なパラメーターを正常に削減しますが、従来の方法は、アクティベーションメモリ消費の減少において限られた有効性を示します。
構造活性化の相乗効果（S2A）を提示します。これは、2つの相乗的メカニズムを通じてパラメーターとメモリの二重最適化を達成する革新的なフレームワークであり、（1）パラメトリックな複雑さと中間機能ストレージ要件の両方を戦略的に最小限に抑える構造的アクティベーションモジュール（バイアス/プロンプト/サイド適応）、および（2）デリバティブ – アウェア型の4-BIT量子オペレーターを維持するための脱線4ビット量子化の両方の段階的な量子化の両方のグラードインドリティを維持するための4-BIT量子化の両方の段階的な量子化の両方を維持する
精度割り当て。
複数のアーキテクチャ（VIT、SWIN、RESNET）およびデータセット（ImagENET-1K、CIFAR、DomainNet）にわたる広範な評価は、S2Aの優れた効率を示し、GPUメモリの消費を75 \％（4.2平均減少）減少させながら、0.9 \％Thoableパラメーターの完全な微調整の98.7％を維持しながら維持します。
このハードウェア認識パラダイムは、新しい最先端のモデル適応を確立し、モデル機能を損なうことなく、同時パラメーターとメモリ最適化を通じて実用的な展開の利点を提供します

要約(オリジナル)

While parameter-efficient transfer learning (PETL) successfully reduces trainable parameters for adapting large pre-trained models, conventional methods exhibit limited effectiveness in decreasing activation memory consumption – a critical bottleneck for deployment on resource-constrained devices. We present Structure-Activation Synergy (S2A), an innovative framework achieving dual optimization of parameters and memory through two synergistic mechanisms: (1) Structural activation modules (bias/prompt/side adaptations) that strategically minimize both parametric complexity and intermediate feature storage requirements, and (2) Derivative-aware 4-bit quantization for non-parametric operators that maintains model fidelity through gradient-informed precision allocation. Extensive evaluations across multiple architectures (ViT, Swin, ResNet) and datasets (ImageNet-1K, CIFAR, DomainNet) demonstrate S2A’s superior efficiency, reducing GPU memory consumption by 75\% (4.2 average reduction) while maintaining 98.7\% of full fine-tuning accuracy with only 0.9\% tunable parameters. This hardware-aware paradigm establishes new state-of-the-art in efficient model adaptation, offering practical deployment advantages through simultaneous parameter and memory optimization without compromising model capability

arxiv情報

提供元, 利用サービス

arxiv.jp, Google