RTF-Q: Efficient Unsupervised Domain Adaptation with Retraining-free Quantization

要約

リソースに制約のあるエッジデバイス上で監視なしドメイン適応を実行することは困難です。
既存の研究では通常、アーキテクチャの最適化（スリム化可能なネットワークの設計など）が採用されていますが、高価なトレーニング費用が必要です。
さらに、パラメータとアクティベーションのかなりの精度の冗長性は考慮されていません。
これらの制限に対処するために、ReTraining-Free Quantization (RTF-Q) を使用した効率的な教師なしドメイン適応を提案します。
私たちのアプローチでは、計算コストが変動する低精度の量子化アーキテクチャを使用し、動的な計算予算を持つデバイスに適応します。
サブネットのディメンションを微妙に構成し、重み共有を活用して単一の重みセット内で複数のアーキテクチャを最適化し、オープンソース リポジトリからの事前トレーニングされたモデルの使用を可能にします。
さらに、マルチビット幅のジョイント トレーニングと SandwichQ ルールを導入します。どちらも、サブネット全体で複数の量子化ビット幅を処理するのに効果的です。
実験結果は、当社のネットワークが、メモリと計算コストを大幅に削減しながら、3 つのベンチマークにわたって最先端の方法で競争力のある精度を達成していることを示しています。

要約(オリジナル)

Performing unsupervised domain adaptation on resource-constrained edge devices is challenging. Existing research typically adopts architecture optimization (e.g., designing slimmable networks) but requires expensive training costs. Moreover, it does not consider the considerable precision redundancy of parameters and activations. To address these limitations, we propose efficient unsupervised domain adaptation with ReTraining-Free Quantization (RTF-Q). Our approach uses low-precision quantization architectures with varying computational costs, adapting to devices with dynamic computation budgets. We subtly configure subnet dimensions and leverage weight-sharing to optimize multiple architectures within a single set of weights, enabling the use of pre-trained models from open-source repositories. Additionally, we introduce multi-bitwidth joint training and the SandwichQ rule, both of which are effective in handling multiple quantization bit-widths across subnets. Experimental results demonstrate that our network achieves competitive accuracy with state-of-the-art methods across three benchmarks while significantly reducing memory and computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google