Data-Free Dynamic Compression of CNNs for Tractable Efficiency

要約

リソース制約のデバイスでの畳み込みニューラルネットワーク（CNNS）の計算コストを削減するために、構造化された剪定アプローチは、精度を大幅に低下させることなく、浮動小数点操作（FLOPS）を下げることで有望であることを示しています。
ただし、ほとんどの方法では、保持された精度とフロップの減少との間の合理的なトレードオフを実現し、計算オーバーヘッドを追加し、トレーニングデータを利用できるようにするために、微調整または特定のトレーニング手順が必要です。
この目的のために、トレーニングや微調整なしでネットワークのテスト時間推論コストを即座に削減する、データフリーのプラグアンドプレイの畳み込みモジュールである急いで（扱いやすい効率のためのハッシュ）を提案します。
私たちのアプローチでは、局所に敏感なハッシュ（LSH）を利用して、潜在的な特徴マップのチャネル次元の冗長性を検出し、同様のチャネルを圧縮して入力とフィルターの深さを同時に減らし、より安価な畳み込みをもたらします。
人気のあるビジョンベンチマークCIFAR-10とImagenetでのアプローチを実証します。ここでは、フロップが46.72％減少し、HasteモジュールのCIFAR-10のResNet34の畳み込みモジュールを交換することにより、精度が1.25％減少します。

要約(オリジナル)

To reduce the computational cost of convolutional neural networks (CNNs) on resource-constrained devices, structured pruning approaches have shown promise in lowering floating-point operations (FLOPs) without substantial drops in accuracy. However, most methods require fine-tuning or specific training procedures to achieve a reasonable trade-off between retained accuracy and reduction in FLOPs, adding computational overhead and requiring training data to be available. To this end, we propose HASTE (Hashing for Tractable Efficiency), a data-free, plug-and-play convolution module that instantly reduces a network’s test-time inference cost without training or fine-tuning. Our approach utilizes locality-sensitive hashing (LSH) to detect redundancies in the channel dimension of latent feature maps, compressing similar channels to reduce input and filter depth simultaneously, resulting in cheaper convolutions. We demonstrate our approach on the popular vision benchmarks CIFAR-10 and ImageNet, where we achieve a 46.72% reduction in FLOPs with only a 1.25% loss in accuracy by swapping the convolution modules in a ResNet34 on CIFAR-10 for our HASTE module.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google