ConvLoRA and AdaBN based Domain Adaptation via Self-Training

要約

既存のドメイン アダプテーション (DA) 方法には、多くの場合、ソース ドメインでの事前トレーニングとターゲット ドメインでの微調整が含まれます。
マルチターゲット ドメイン適応の場合、事前トレーニングされたモデル パラメーターをすべて保持する、ターゲット ドメインごとに専用の個別の微調整されたネットワークを用意すると、法外なコストがかかります。
この制限に対処するために、畳み込み低ランク適応 (ConvLoRA) を提案します。
ConvLoRA は、事前トレーニングされたモデルの重みを凍結し、トレーニング可能な低ランク分解行列を畳み込み層に追加し、これらの行列を通じて勾配を逆伝播するため、トレーニング可能なパラメーターの数が大幅に削減されます。
適応をさらに高めるために、ターゲット固有の実行統計を計算し、ConvLoRA とともに使用する Adaptive Batch Normalization (AdaBN) を利用します。
私たちの方法は、トレーニング可能なパラメーターが少なく、脳 MRI 画像を含むカルガリー – カンピナス データセットのセグメンテーションでテストした場合、大規模な独立した微調整ネットワーク (ベース モデル全体のトレーニング可能なパラメーターが 0.9% 未満) よりも優れた、または同等のパフォーマンスを示します。
私たちのアプローチはシンプルですが効果的であり、畳み込み層とバッチ正規化層を使用するあらゆる深層学習ベースのアーキテクチャに適用できます。
コードは https://github.com/aleemsidra/ConvLoRA から入手できます。

要約(オリジナル)

Existing domain adaptation (DA) methods often involve pre-training on the source domain and fine-tuning on the target domain. For multi-target domain adaptation, having a dedicated/separate fine-tuned network for each target domain, that retain all the pre-trained model parameters, is prohibitively expensive. To address this limitation, we propose Convolutional Low-Rank Adaptation (ConvLoRA). ConvLoRA freezes pre-trained model weights, adds trainable low-rank decomposition matrices to convolutional layers, and backpropagates the gradient through these matrices thus greatly reducing the number of trainable parameters. To further boost adaptation, we utilize Adaptive Batch Normalization (AdaBN) which computes target-specific running statistics and use it along with ConvLoRA. Our method has fewer trainable parameters and performs better or on-par with large independent fine-tuned networks (with less than 0.9% trainable parameters of the total base model) when tested on the segmentation of Calgary-Campinas dataset containing brain MRI images. Our approach is simple, yet effective and can be applied to any deep learning-based architecture which uses convolutional and batch normalization layers. Code is available at: https://github.com/aleemsidra/ConvLoRA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google