Faster and Accurate Neural Networks with Semantic Inference

要約

ディープニューラルネットワーク（DNN）は通常、大きな計算負荷を伴う。構造化刈り込み（structured pruning）や移動に特化したDNNなどのアプローチが提案されているが、精度の大幅な低下を招く。本稿では、潜在的表現に内在する冗長性を活用し、性能の低下を抑えつつ計算負荷を軽減する。意味的に類似した入力は、特に初期層において多くのフィルターを共有することを示す。従って、意味的に類似したクラスは、クラスタ固有の部分グラフを作成するためにクラスタ化することができる。この目的のために、我々は意味推論（SINF）と呼ばれる新しいフレームワークを提案する。つまり、SINFは(i)小さな追加分類器を用いてオブジェクトが属する意味クラスタを特定し、(ii)その意味クラスタに関連するベースDNNから抽出されたサブグラフを推論のために実行する。各クラスタ固有の部分グラフを抽出するために、我々は、特定の意味クラスタのメンバーを識別する能力を持つ部分グラフを見つける、識別能力スコア（DCS）と名付けられた新しいアプローチを提案する。DCSはSINFから独立しており、あらゆるDNNに適用可能である。CIFAR100データセットで学習させたVGG16、VGG19、ResNet50 DNNのDCSの性能を、6つの最先端プルーニングアプローチと比較する。その結果、(i)SINFはVGG19、VGG16、ResNet50の推論時間をそれぞれ最大35%、29%、15%短縮し、精度は0.17%、3.75%、6.75%低下する(ii)DCSはVGG16、VGG19、ResNet50の精度を既存の識別スコアと比較してそれぞれ最大3.65%、4.25%、2.36%向上する(iii)DCSを刈り込み基準として用いた場合、最大8.(iv) クラスタごとの精度を考慮した場合、SINFはベースとなるVGG16、VGG19、ResNet50よりも平均で5.73%、8.38%、6.36%優れた性能を発揮する。

要約(オリジナル)

Deep neural networks (DNN) usually come with a significant computational burden. While approaches such as structured pruning and mobile-specific DNNs have been proposed, they incur drastic accuracy loss. In this paper we leverage the intrinsic redundancy in latent representations to reduce the computational load with limited loss in performance. We show that semantically similar inputs share many filters, especially in the earlier layers. Thus, semantically similar classes can be clustered to create cluster-specific subgraphs. To this end, we propose a new framework called Semantic Inference (SINF). In short, SINF (i) identifies the semantic cluster the object belongs to using a small additional classifier and (ii) executes the subgraph extracted from the base DNN related to that semantic cluster for inference. To extract each cluster-specific subgraph, we propose a new approach named Discriminative Capability Score (DCS) that finds the subgraph with the capability to discriminate among the members of a specific semantic cluster. DCS is independent from SINF and can be applied to any DNN. We benchmark the performance of DCS on the VGG16, VGG19, and ResNet50 DNNs trained on the CIFAR100 dataset against 6 state-of-the-art pruning approaches. Our results show that (i) SINF reduces the inference time of VGG19, VGG16, and ResNet50 respectively by up to 35%, 29% and 15% with only 0.17%, 3.75%, and 6.75% accuracy loss (ii) DCS achieves respectively up to 3.65%, 4.25%, and 2.36% better accuracy with VGG16, VGG19, and ResNet50 with respect to existing discriminative scores (iii) when used as a pruning criterion, DCS achieves up to 8.13% accuracy gain with 5.82% less parameters than the existing state of the art work published at ICLR 2023 (iv) when considering per-cluster accuracy, SINF performs on average 5.73%, 8.38% and 6.36% better than the base VGG16, VGG19, and ResNet50.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL