Tune-Mode ConvBN Blocks For Efficient Transfer Learning

要約

Convolution-BatchNorm (ConvBN) ブロックは、さまざまなコンピューター ビジョン タスクやその他のドメインに不可欠なコンポーネントです。
ConvBN ブロックは、Train、Eval、Deploy の 3 つのモードで動作できます。
Train モードはモデルを最初からトレーニングする場合に不可欠ですが、Eval モードは転移学習とモデルの検証に適しており、Deploy モードはモデルのデプロイメント用に設計されています。
このペーパーでは、ConvBN ブロックの安定性と効率の間のトレードオフに焦点を当てます。デプロイ モードは効率的ですが、トレーニングが不安定になります。
Eval モードは転移学習で広く使用されていますが、効率が不十分です。
このジレンマを解決するために、デプロイ モードで観察されるトレーニングの安定性の低下の背後にある理由を理論的に明らかにします。
続いて、Eval モードと Deploy モードの間のギャップを埋めるための新しい Tune モードを提案します。
提案された Tune モードは転移学習の Eval モードと同じくらい安定しており、その計算効率は Deploy モードの計算効率とほぼ一致します。
さまざまなデータセットとモデル アーキテクチャにわたって実行されたオブジェクト検出と分類タスクの両方における広範な実験を通じて、提案された Tune モードが元のパフォーマンスを損なうことなく、GPU メモリのフットプリントとトレーニング時間を大幅に削減し、それによって転送の効率的なソリューションに貢献することを実証しました。
畳み込みネットワークを使った学習。

要約(オリジナル)

Convolution-BatchNorm (ConvBN) blocks are integral components in various computer vision tasks and other domains. A ConvBN block can operate in three modes: Train, Eval, and Deploy. While the Train mode is indispensable for training models from scratch, the Eval mode is suitable for transfer learning and model validation, and the Deploy mode is designed for the deployment of models. This paper focuses on the trade-off between stability and efficiency in ConvBN blocks: Deploy mode is efficient but suffers from training instability; Eval mode is widely used in transfer learning but lacks efficiency. To solve the dilemma, we theoretically reveal the reason behind the diminished training stability observed in the Deploy mode. Subsequently, we propose a novel Tune mode to bridge the gap between Eval mode and Deploy mode. The proposed Tune mode is as stable as Eval mode for transfer learning, and its computational efficiency closely matches that of the Deploy mode. Through extensive experiments in both object detection and classification tasks, carried out across various datasets and model architectures, we demonstrate that the proposed Tune mode does not hurt the original performance while significantly reducing GPU memory footprint and training time, thereby contributing an efficient solution to transfer learning with convolutional networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google