Impact of Disentanglement on Pruning Neural Networks

要約

現実世界でタスク固有の目的を達成するためにディープラーニング ニューラル ネットワークをエッジ デバイスに展開するには、メモリ フットプリント、消費電力、遅延を削減する必要があります。
これは、効率的なモデル圧縮によって実現できます。
変分オートエンコーダ (VAE) ネットワークによって生成されるもつれ解除された潜在表現は、主にタスク固有の情報を保持し、当面のタスクに不要な情報を破棄するため、モデル圧縮を達成するための有望なアプローチです。
私たちは、Beta-VAE フレームワークと枝刈りの標準基準を組み合わせて利用し、分類タスクの枝刈りプロセスにおいて、ネットワークにもつれ解除表現の学習を強制することの影響を調査します。
特に、MNIST および CIFAR10 データセットで実験を実行し、もつれを解く課題を検討し、将来の研究に向けた道筋を提案します。

要約(オリジナル)

Deploying deep learning neural networks on edge devices, to accomplish task specific objectives in the real-world, requires a reduction in their memory footprint, power consumption, and latency. This can be realized via efficient model compression. Disentangled latent representations produced by variational autoencoder (VAE) networks are a promising approach for achieving model compression because they mainly retain task-specific information, discarding useless information for the task at hand. We make use of the Beta-VAE framework combined with a standard criterion for pruning to investigate the impact of forcing the network to learn disentangled representations on the pruning process for the task of classification. In particular, we perform experiments on MNIST and CIFAR10 datasets, examine disentanglement challenges, and propose a path forward for future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google