BOMP-NAS: Bayesian Optimization Mixed Precision NAS

要約

ベイジアン最適化混合精度ニューラル アーキテクチャ検索 (BOMP-NAS) は、ベイジアン最適化 (BO) と混合精度量子化 (MP) の両方を活用してコンパクトで効率的な検索を行う量子化対応ニューラル アーキテクチャ検索 (QA-NAS) へのアプローチです。
高性能ディープ ニューラル ネットワーク。
結果は、量子化を考慮した微調整 (QAFT) を NAS ループに統合することが、低精度の量子化で適切に機能するネットワークを見つけるために必要なステップであることを示しています。それを統合すると、CIFAR でモデル サイズをほぼ 50\% 削減できます。
10 データセット。
BOMP-NAS は、はるかに低い設計コストで最先端のパフォーマンスを実現するニューラル ネットワークを見つけることができます。
この研究は、BOMP-NAS がこれらのニューラル ネットワークを最も近い関連研究と比較して 6 倍短い検索時間で見つけられることを示しています。

要約(オリジナル)

Bayesian Optimization Mixed-Precision Neural Architecture Search (BOMP-NAS) is an approach to quantization-aware neural architecture search (QA-NAS) that leverages both Bayesian optimization (BO) and mixed-precision quantization (MP) to efficiently search for compact, high performance deep neural networks. The results show that integrating quantization-aware fine-tuning (QAFT) into the NAS loop is a necessary step to find networks that perform well under low-precision quantization: integrating it allows a model size reduction of nearly 50\% on the CIFAR-10 dataset. BOMP-NAS is able to find neural networks that achieve state of the art performance at much lower design costs. This study shows that BOMP-NAS can find these neural networks at a 6x shorter search time compared to the closest related work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google