Augmented Random Search for Multi-Objective Bayesian Optimization of Neural Networks

要約

生成されるセンサー データの増加量を処理するために、小型デバイスにディープ ニューラル ネットワーク (DNN) を展開するのが一般的な傾向です。
多目的最適化アプローチを使用すると、ネットワーク プルーニングと重み量子化を適用して DNN を圧縮し、予測精度を維持しながらメモリ フットプリント (RAM)、パラメータ数 (ROM)、および浮動小数点演算 (FLOP) の数を最小限に抑えることができます。
この論文では、既存の多目的ベイズ最適化 (MOBOpt) アプローチでは、パレート フロントで最適な候補を見つけるには不十分である可能性があることを示し、拡張ランダム検索強化学習 (
RL）エージェント。
私たちの方法論は、DNN の予測精度、特定のターゲット システムでのメモリ消費量、および計算の複雑さの間の実現可能なトレードオフを見つけることを目的としています。
私たちの実験では、ResNet-18 や MobileNetV3 などのさまざまなデータセットやアーキテクチャ上で、既存の MOBOpt アプローチよりも一貫して優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Deploying Deep Neural Networks (DNNs) on tiny devices is a common trend to process the increasing amount of sensor data being generated. Multi-objective optimization approaches can be used to compress DNNs by applying network pruning and weight quantization to minimize the memory footprint (RAM), the number of parameters (ROM) and the number of floating point operations (FLOPs) while maintaining the predictive accuracy. In this paper, we show that existing multi-objective Bayesian optimization (MOBOpt) approaches can fall short in finding optimal candidates on the Pareto front and propose a novel solver based on an ensemble of competing parametric policies trained using an Augmented Random Search Reinforcement Learning (RL) agent. Our methodology aims at finding feasible tradeoffs between a DNN’s predictive accuracy, memory consumption on a given target system, and computational complexity. Our experiments show that we outperform existing MOBOpt approaches consistently on different data sets and architectures such as ResNet-18 and MobileNetV3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google