Histogram-based Parameter-efficient Tuning for Passive Sonar Classification

要約

パラメーター効率の高い転送学習（PETL）メソッドは、モデル全体を微調整することなく、大規模な人工ニューラルネットワークをダウンストリームタスクに適応させます。
ただし、アダプターなどの既存の添加剤方法は、中間特徴の埋め込みの分布シフトをキャプチャするのに苦労することがあります。
ターゲットドメインの統計をキャプチャし、埋め込みを調整する新しいヒストグラムベースのパラメーター効率の高いチューニング（HPT）手法を提案します。
3つの下流のパッシブソナーデータセット（Shipsear、Deephip、VTUAD）の実験結果は、HPTが従来のアダプターよりも優れていることを示しています。
特に、HPTはVTUADで91.8％対89.8％の精度を達成しています。
さらに、HPTはより速く訓練し、完全に微調整されたモデルの表現に近い特徴表現を生み出します。
全体として、HPTはパラメーターの節約とパフォーマンスのバランスをとり、既存のアダプターに配布認識の代替品を提供し、リソース制約の環境でスケーラブルな転送学習の有望な方向を示します。
コードは公開されています：https：//github.com/advanced-vision-and-learning-lab/hlast_deepship_parameterefficient。

要約(オリジナル)

Parameter-efficient transfer learning (PETL) methods adapt large artificial neural networks to downstream tasks without fine-tuning the entire model. However, existing additive methods, such as adapters, sometimes struggle to capture distributional shifts in intermediate feature embeddings. We propose a novel histogram-based parameter-efficient tuning (HPT) technique that captures the statistics of the target domain and modulates the embeddings. Experimental results on three downstream passive sonar datasets (ShipsEar, DeepShip, VTUAD) demonstrate that HPT outperforms conventional adapters. Notably, HPT achieves 91.8% vs. 89.8% accuracy on VTUAD. Furthermore, HPT trains faster and yields feature representations closer to those of fully fine-tuned models. Overall, HPT balances parameter savings and performance, providing a distribution-aware alternative to existing adapters and shows a promising direction for scalable transfer learning in resource-constrained environments. The code is publicly available: https://github.com/Advanced-Vision-and-Learning-Lab/HLAST_DeepShip_ParameterEfficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google