Pruning Compact ConvNets for Efficient Inference

要約

ニューラル ネットワークのプルーニングは、過度にパラメータ化されたネットワークを大量に圧縮するためによく使用されますが、一般化のパフォーマンスはわずかに低下します。
ただし、効率的な推論のために高度に最適化されたネットワークに対するプルーニングの影響は、同じレベルの注目を集めていません。
このホワイト ペーパーでは、コンピューター ビジョンの枝刈りの効果を分析し、モデルの FBNetV3 ファミリーなどの最先端の ConvNet を研究します。
NAS (Neural Architecture Search) によってトレーニングされたネットワークをさらに最適化するために、モデルのプルーニング アプローチを使用できることを示します。
結果として得られるプルーニングされたモデルのファミリは、同じ計算レベルで既存の FBNetV3 モデルよりも一貫して優れたパフォーマンスを得ることができるため、ImageNet ベンチマークで計算の複雑さと一般化パフォーマンスとの間でトレードオフを行うときに最先端の結果を提供します。
一般化パフォーマンスの向上に加えて、利用可能な計算リソースが限られている場合、FBNetV3 モデルのプルーニングは、フルスケール NAS の実行に関連する GPU 時間のほんの一部しか発生しないことも示しています。

要約(オリジナル)

Neural network pruning is frequently used to compress over-parameterized networks by large amounts, while incurring only marginal drops in generalization performance. However, the impact of pruning on networks that have been highly optimized for efficient inference has not received the same level of attention. In this paper, we analyze the effect of pruning for computer vision, and study state-of-the-art ConvNets, such as the FBNetV3 family of models. We show that model pruning approaches can be used to further optimize networks trained through NAS (Neural Architecture Search). The resulting family of pruned models can consistently obtain better performance than existing FBNetV3 models at the same level of computation, and thus provide state-of-the-art results when trading off between computational complexity and generalization performance on the ImageNet benchmark. In addition to better generalization performance, we also demonstrate that when limited computation resources are available, pruning FBNetV3 models incur only a fraction of GPU-hours involved in running a full-scale NAS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google