Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning

要約

最新のコンピュータ ビジョン タスクでは、大規模な事前トレーニングされたモデルがますます重要になっています。
これらのモデルは通常、エンドツーエンドの微調整によって下流のタスクで使用されますが、ビデオの理解、小さなオブジェクトの検出、点群解析など、高解像度データを使用するタスクでは非常にメモリを大量に消費します。
この論文では、動的可逆デュアル残差ネットワーク (Dr$^2$Net) を提案します。これは、メモリ消費を大幅に削減して事前学習済みモデルを微調整するための代理ネットワークとして機能する新しいネットワーク アーキテクチャ ファミリです。
Dr$^2$Net には 2 種類の残差接続が含まれており、1 つは事前学習済みモデルの残差構造を維持し、もう 1 つはネットワークを可逆にします。
可逆性があるため、出力から再構築できる中間アクティベーションはトレーニング中にメモリから消去されます。
どちらかのタイプの残差接続にそれぞれ 2 つの係数を使用し、事前トレーニング済みモデルをはるかに高い数値精度で可逆ネットワークにシームレスに移行する動的トレーニング戦略を導入します。
さまざまな事前学習済みモデルとさまざまなタスクで Dr$^2$Net を評価し、従来の微調整と同等のパフォーマンスを、大幅に少ないメモリ使用量で達成できることを示しました。

要約(オリジナル)

Large pretrained models are increasingly crucial in modern computer vision tasks. These models are typically used in downstream tasks by end-to-end finetuning, which is highly memory-intensive for tasks with high-resolution data, e.g., video understanding, small object detection, and point cloud analysis. In this paper, we propose Dynamic Reversible Dual-Residual Networks, or Dr$^2$Net, a novel family of network architectures that acts as a surrogate network to finetune a pretrained model with substantially reduced memory consumption. Dr$^2$Net contains two types of residual connections, one maintaining the residual structure in the pretrained models, and the other making the network reversible. Due to its reversibility, intermediate activations, which can be reconstructed from output, are cleared from memory during training. We use two coefficients on either type of residual connections respectively, and introduce a dynamic training strategy that seamlessly transitions the pretrained model to a reversible network with much higher numerical precision. We evaluate Dr$^2$Net on various pretrained models and various tasks, and show that it can reach comparable performance to conventional finetuning but with significantly less memory usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google