Ada-QPacknet — adaptive pruning with bit width reduction as an efficient continual learning method without forgetting

要約

継続学習 (CL) は、人間の効率と深層学習モデルの効率の間に依然として大きなギャップがあるプロセスです。
最近、多くの CL アルゴリズムが設計されました。
彼らのほとんどは、動的で複雑な環境での学習に関して多くの問題を抱えています。
この研究では、新しいアーキテクチャ ベースのアプローチ Ada-QPacknet について説明します。
タスクごとにサブネットワークを抽出するプルーニングが組み込まれています。
アーキテクチャベースの CL メソッドの重要な側面は、その能力です。
提示された方法では、モデルのサイズは、効率的な線形および非線形量子化アプローチによって削減されます。
この方法では、重み形式のビット幅が削減されます。
提示された結果は、低ビット量子化が、よく知られている CL シナリオで浮動小数点サブネットワークと同様の精度を達成することを示しています。
私たちの知る限り、これはタスク サブネットワークを生成するための圧縮技術プルーニングと量子化の両方を組み込んだ最初の CL 戦略です。
提示されたアルゴリズムは、よく知られているエピソードの組み合わせでテストされ、最も一般的なアルゴリズムと比較されました。
結果は、提案されたアプローチがタスクおよびクラスの増分シナリオでほとんどの CL 戦略よりも優れていることを示しています。

要約(オリジナル)

Continual Learning (CL) is a process in which there is still huge gap between human and deep learning model efficiency. Recently, many CL algorithms were designed. Most of them have many problems with learning in dynamic and complex environments. In this work new architecture based approach Ada-QPacknet is described. It incorporates the pruning for extracting the sub-network for each task. The crucial aspect in architecture based CL methods is theirs capacity. In presented method the size of the model is reduced by efficient linear and nonlinear quantisation approach. The method reduces the bit-width of the weights format. The presented results shows that low bit quantisation achieves similar accuracy as floating-point sub-network on a well-know CL scenarios. To our knowledge it is the first CL strategy which incorporates both compression techniques pruning and quantisation for generating task sub-networks. The presented algorithm was tested on well-known episode combinations and compared with most popular algorithms. Results show that proposed approach outperforms most of the CL strategies in task and class incremental scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google