GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks

要約

反復最適化による深層畳み込みニューラル ネットワーク (CNN) トレーニングは、最適なパラメーターを見つけることに驚くべき成功を収めています。
ただし、最新の CNN アーキテクチャには、多くの場合、何百万ものパラメーターが含まれています。
したがって、単一のアーキテクチャの特定のモデルは、大規模なパラメーター空間に存在します。
同様の損失を持つモデルは、敵対的ロバスト性、一般化可能性、量子化のロバスト性など、大幅に異なる特性を持つ可能性があります。
エッジでの深層学習では、多くの場合、量子化の堅牢性が重要です。
量子化に強いモデルを見つけるには、多大な労力が必要になる場合があります。
グラフ ハイパーネットワーク (GHN) を使用した最近の研究では、さまざまな CNN アーキテクチャの高性能パラメーターを予測する驚くべきパフォーマンスが示されています。
これらの成功に触発されて、GHN-2 のグラフ表現を活用して、GHN-Q と呼ばれる量子化に強いパラメーターも予測できるのではないかと考えています。
目に見えない量子化された CNN アーキテクチャのパラメーターを予測するためのグラフ ハイパーネットワークの使用を調査する史上初の研究を実施します。
削減された CNN 探索空間に焦点を当て、実際に GHN-Q がさまざまな 8 ビット量子化 CNN の量子化に強いパラメーターを予測できることを発見しました。
GHN-Qがトレーニングされていないにもかかわらず、4ビットの量子化でもまともな量子化精度が観察されます.
より低いビット幅での GHN-Q の量子化された微調整は、さらなる改善をもたらす可能性があり、現在調査中です。

要約(オリジナル)

Deep convolutional neural network (CNN) training via iterative optimization has had incredible success in finding optimal parameters. However, modern CNN architectures often contain millions of parameters. Thus, any given model for a single architecture resides in a massive parameter space. Models with similar loss could have drastically different characteristics such as adversarial robustness, generalizability, and quantization robustness. For deep learning on the edge, quantization robustness is often crucial. Finding a model that is quantization-robust can sometimes require significant efforts. Recent works using Graph Hypernetworks (GHN) have shown remarkable performance predicting high-performant parameters of varying CNN architectures. Inspired by these successes, we wonder if the graph representations of GHN-2 can be leveraged to predict quantization-robust parameters as well, which we call GHN-Q. We conduct the first-ever study exploring the use of graph hypernetworks for predicting parameters of unseen quantized CNN architectures. We focus on a reduced CNN search space and find that GHN-Q can in fact predict quantization-robust parameters for various 8-bit quantized CNNs. Decent quantized accuracies are observed even with 4-bit quantization despite GHN-Q not being trained on it. Quantized finetuning of GHN-Q at lower bitwidths may bring further improvements and is currently being explored.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google