Low-Rank Winograd Transformation for 3D Convolutional Neural Networks

要約

このホワイト ペーパーでは、2D バージョンと比較してより過剰にパラメーター化されている 3D 畳み込みニューラル ネットワーク (CNN) の Winograd 変換に焦点を当てています。
過度に増加する Winograd パラメーターは、トレーニングの複雑さを悪化させるだけでなく、Winograd ドメイン内の要素単位の積の量が原因で、実際のスピードアップを妨げます。
低ランクの Winograd 変換を導入することで、トレーニング可能なパラメーターを減らすことを試みます。これは、元の大きなテンソルを 2 つのストレージを必要としないトレーニング可能なテンソルに分離する新しいトレーニング パラダイムであり、大幅な複雑さの削減につながります。
低ランクの Winograd 変換に基づいて構築された、列単位のパラメーターの重要性を測定する低ランク指向のスパース粒度を提案することにより、一歩先を行っています。
要素ごとの積にゼロ以外の列を単純に含めることで、効果的な Winograd スピードアップを取得するための非常に規則的な疎パターンを生成する機能を使用して、疎な粒度が強化されます。
この方法の有効性をよりよく理解するために、3D CNN で広範な実験を行います。
結果は、低ランクの Winograd 変換が通常の Winograd 変換よりも優れていることを示しています。
また、提案された低ランク指向のスパース粒度が、バニラの対応物と比較して実用的な Winograd アクセラレーションを可能にすることも示します。

要約(オリジナル)

This paper focuses on Winograd transformation in 3D convolutional neural networks (CNNs) that are more over-parameterized compared with the 2D version. The over-increasing Winograd parameters not only exacerbate training complexity but also barricade the practical speedups due simply to the volume of element-wise products in the Winograd domain. We attempt to reduce trainable parameters by introducing a low-rank Winograd transformation, a novel training paradigm that decouples the original large tensor into two less storage-required trainable tensors, leading to a significant complexity reduction. Built upon our low-rank Winograd transformation, we take one step ahead by proposing a low-rank oriented sparse granularity that measures column-wise parameter importance. By simply involving the non-zero columns in the element-wise product, our sparse granularity is empowered with the ability to produce a very regular sparse pattern to acquire effectual Winograd speedups. To better understand the efficacy of our method, we perform extensive experiments on 3D CNNs. Results manifest that our low-rank Winograd transformation well outperforms the vanilla Winograd transformation. We also show that our proposed low-rank oriented sparse granularity permits practical Winograd acceleration compared with the vanilla counterpart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google