KARST: Multi-Kernel Kronecker Adaptation with Re-Scaling Transmission for Visual Classification

要約

特定のタスクの事前訓練を受けたビジョンモデルを微調整することは、コンピュータービジョンにおける一般的な実践です。
ただし、モデルが大きくなるにつれて、このプロセスはより高価になります。
最近、パラメーター効率の高い微調整（PEFT）メソッドは、事前に訓練されたバックボーン内の追加の低ランクモジュールを調整することにより、トレーニング効率を改善し、ストレージのニーズを削減するための一般的なソリューションとして浮上しています。
彼らの利点にもかかわらず、彼らは限られた表現能力と事前に訓練された中間機能との不整合に苦労しています。
これらの問題に対処するために、さまざまな認識タスクのために再スケーリング送信（KARST）を備えた革新的なマルチカーネルKronecker適応を導入します。
具体的には、そのマルチカーネル設計はKroneckerの投影を水平方向に拡張し、適応マトリックスを複数の相補的なスペースに分離し、パラメーターの依存関係を削減し、よりコンパクトなサブスペースを作成します。
また、事前に訓練された機能分布とより適切に調整するために、追加の学習可能な再スケーリング因子が組み込まれ、より柔軟でバランスの取れた機能集約が可能になります。
広範な実験では、カルストが再パラメーター化特性により、無視できる推論コストで他のPEFTカウンターパートよりも優れていることを検証します。
コードは、https：//github.com/lucenova/karstで公開されています。

要約(オリジナル)

Fine-tuning pre-trained vision models for specific tasks is a common practice in computer vision. However, this process becomes more expensive as models grow larger. Recently, parameter-efficient fine-tuning (PEFT) methods have emerged as a popular solution to improve training efficiency and reduce storage needs by tuning additional low-rank modules within pre-trained backbones. Despite their advantages, they struggle with limited representation capabilities and misalignment with pre-trained intermediate features. To address these issues, we introduce an innovative Multi-Kernel Kronecker Adaptation with Re-Scaling Transmission (KARST) for various recognition tasks. Specifically, its multi-kernel design extends Kronecker projections horizontally and separates adaptation matrices into multiple complementary spaces, reducing parameter dependency and creating more compact subspaces. Besides, it incorporates extra learnable re-scaling factors to better align with pre-trained feature distributions, allowing for more flexible and balanced feature aggregation. Extensive experiments validate that our KARST outperforms other PEFT counterparts with a negligible inference cost due to its re-parameterization characteristics. Code is publicly available at: https://github.com/Lucenova/KARST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google