Deep Network Pruning: A Comparative Study on CNNs in Face Recognition

要約

あらゆる種類の取引にモバイル デバイスが広く使用されるようになったことで、信頼性の高いリアルタイムの本人認証が必要となり、そのようなデバイスに組み込まれたカメラによる顔認識 (FR) の採用につながりました。
深層畳み込みニューラル ネットワーク (CNN) の進歩により、FR は大幅に進歩しました。
それにもかかわらず、最先端のアーキテクチャのサイズはモバイル展開には適していません。これは、多くの場合、数百メガバイトと数百万のパラメータが含まれるためです。
私たちは、FR に適用されるディープネットワーク圧縮の方法を研究することで、この問題に対処します。
特に、テイラー スコアに基づいてネットワーク プルーニングを適用し、重要度の低いフィルターが繰り返し削除されます。
このメソッドは、小規模な SqueezeNet (1.24M パラメータ)、および一般的な MobileNetv2 (3.5M) および ResNet50 (23.5M) アーキテクチャに基づく 3 つのネットワークでテストされています。
これらは、さまざまな複雑さとサイズの CNN での手法を紹介するために選択されています。
かなりの割合のフィルタがパフォーマンスの損失を最小限に抑えて削除できることがわかりました。
また、出力チャネルの量が最も多いフィルターが最初に削除される傾向があり、一般的な CNN 内の高次元空間が過剰に次元化されていることを示唆しています。

要約(オリジナル)

The widespread use of mobile devices for all kind of transactions makes necessary reliable and real-time identity authentication, leading to the adoption of face recognition (FR) via the cameras embedded in such devices. Progress of deep Convolutional Neural Networks (CNNs) has provided substantial advances in FR. Nonetheless, the size of state-of-the-art architectures is unsuitable for mobile deployment, since they often encompass hundreds of megabytes and millions of parameters. We address this by studying methods for deep network compression applied to FR. In particular, we apply network pruning based on Taylor scores, where less important filters are removed iteratively. The method is tested on three networks based on the small SqueezeNet (1.24M parameters) and the popular MobileNetv2 (3.5M) and ResNet50 (23.5M) architectures. These have been selected to showcase the method on CNNs with different complexities and sizes. We observe that a substantial percentage of filters can be removed with minimal performance loss. Also, filters with the highest amount of output channels tend to be removed first, suggesting that high-dimensional spaces within popular CNNs are over-dimensionated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google