Domain-Aware Fine-Tuning: Enhancing Neural Network Adaptability

要約

事前トレーニングされたニューラル ネットワーク モデルを微調整することは、さまざまなドメインで広く採用されるアプローチになりました。
ただし、すでに強力な一般化機能を備えている事前トレーニング済みの特徴抽出器が歪む可能性があります。
新しいターゲット ドメインに適応する際の特徴の歪みを軽減することが重要です。
最近の研究では、微調整を実行する前に分布内データセット上でヘッド レイヤーを位置合わせすることで、フィーチャの歪みを処理する際に有望な結果が示されています。
それにもかかわらず、微調整中のバッチ正規化レイヤーの処理から重大な制限が生じ、次善のパフォーマンスにつながります。
この論文では、バッチ正規化変換と線形プローブと微調整の統合を組み込んだ新しいアプローチである Domain-Aware Fine-Tuning (DAFT) を提案します。
当社のバッチ正規化変換手法は、微調整中のニューラル ネットワークへの変更を減らすことで、特徴の歪みを効果的に軽減します。
さらに、線形プロービングと微調整の統合を導入し、特徴抽出器を段階的に適応させてヘッド層を最適化します。
バッチ正規化レイヤーを活用し、線形プローブと微調整を統合することにより、DAFT は特徴の歪みを大幅に軽減し、分布内と分布外の両方のデータセットでモデルのパフォーマンスの向上を実現します。
広範な実験により、私たちの方法が他のベースライン方法よりも優れていることが実証され、パフォーマンスを向上させるだけでなく、特徴の歪みを軽減する効果も実証されています。

要約(オリジナル)

Fine-tuning pre-trained neural network models has become a widely adopted approach across various domains. However, it can lead to the distortion of pre-trained feature extractors that already possess strong generalization capabilities. Mitigating feature distortion during adaptation to new target domains is crucial. Recent studies have shown promising results in handling feature distortion by aligning the head layer on in-distribution datasets before performing fine-tuning. Nonetheless, a significant limitation arises from the treatment of batch normalization layers during fine-tuning, leading to suboptimal performance. In this paper, we propose Domain-Aware Fine-Tuning (DAFT), a novel approach that incorporates batch normalization conversion and the integration of linear probing and fine-tuning. Our batch normalization conversion method effectively mitigates feature distortion by reducing modifications to the neural network during fine-tuning. Additionally, we introduce the integration of linear probing and fine-tuning to optimize the head layer with gradual adaptation of the feature extractor. By leveraging batch normalization layers and integrating linear probing and fine-tuning, our DAFT significantly mitigates feature distortion and achieves improved model performance on both in-distribution and out-of-distribution datasets. Extensive experiments demonstrate that our method outperforms other baseline methods, demonstrating its effectiveness in not only improving performance but also mitigating feature distortion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google