Reduce Computational Complexity for Convolutional Layers by Skipping Zeros

要約

ディープ ニューラル ネットワークは、高速化のために並列プロセッサに依存しています。
これらの演算子を設計するには、複雑さを軽減する優れたアルゴリズムだけでなく、ハードウェアを十分に活用する必要があります。
畳み込み層には主に 3 種類の演算子が含まれています。順方向伝播の畳み込み、逆方向伝播のデコンボリューション、拡張畳み込みです。
これらの演算子を実行すると、常に 0 がテンソルに追加され、冗長な計算が発生します。
この論文では、次の 2 つの方法でこれらの 0 をスキップする C-K-S アルゴリズム (ConvV2、KS-deconv、Sk-dirated) を示します。1 つはフィルターをトリムして埋め込まれた 0 を除外する、2 つはフィルターをトリムする、という 2 つの方法です。
デコンボリューションと拡張コンボリューションでの 0 の挿入を避けるために、スパース テンソルをデンス テンソルに変換します。
通常の畳み込みとは対照的に、デコンボリューションは複雑であるため、高速化するのが困難です。
このペーパーでは、C-K-S の高性能 GPU 実装を提供し、PyTorch と比較してその有効性を検証します。
実験によると、特定の場合、特に小さな特徴マップのデコンボリューションにおいて、C-K-S は PyTorch よりも利点があります。
C-K-S をさらに強化するには、特定の GPU アーキテクチャに合わせて完全な最適化を行うことができます。

要約(オリジナル)

Deep neural networks rely on parallel processors for acceleration. To design operators for them, it requires not only good algorithm to reduce complexity, but also sufficient utilization of hardwares. Convolutional layers mainly contain 3 kinds of operators: convolution in forward propagation, deconvolution and dilated-convolution in backward propagation. When executing these operators, 0s are always added to tensors, causing redundant calculations. This paper gives C-K-S algorithm (ConvV2, KS-deconv, Sk-dilated), which skips these 0s in two ways: trim the filters to exclude padded 0s; transform sparse tensors to dense tensors, to avoid inserted 0s in deconvolution and dilated-convolution. In contrast to regular convolution, deconvolution is hard to accelerate due to its complicacy. This paper provides high-performance GPU implementations of C-K-S, and verifies their effectiveness with comparison to PyTorch. According to the experiments, C-K-S has advantages over PyTorch in certain cases, especially in deconvolution on small feature-maps. Further enhancement of C-K-S can be done by making full optimizations oriented at specific GPU architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google