Lite it fly: An All-Deformable-Butterfly Network

要約

ほとんどのディープ ニューラル ネットワーク (DNN) は基本的に畳み込み層および/または全結合層で構成されており、線形変換はフィルター行列と、特徴テンソルを列に配置することによって得られるデータ行列の間の積としてキャストできます。
最近提案された変形可能バタフライ (DeBut) は、フィルター行列を一般化された蝶のような要素に分解し、従来の枝刈りや低ランク分解の方法とは直交するネットワーク圧縮を実現します。
この研究は、DeBut と、深さ方向および点方向の畳み込みの体系的な階層との間の密接な関係を明らかにし、DeBut 層の経験的に優れたパフォーマンスを説明します。
自動化された DeBut チェーン ジェネレーターを開発することで、DNN をすべての DeBut レイヤーに均質化し、極度のスパース性と圧縮を達成する実現可能性を初めて示しました。
さまざまな例とハードウェア ベンチマークにより、All-DeBut ネットワークの利点が検証されます。
特に、PointNet を 5% 未満の精度低下で 5% 未満のパラメータに圧縮することが可能であることを示します。これは他の圧縮スキームでは達成できない記録です。

要約(オリジナル)

Most deep neural networks (DNNs) consist fundamentally of convolutional and/or fully connected layers, wherein the linear transform can be cast as the product between a filter matrix and a data matrix obtained by arranging feature tensors into columns. The lately proposed deformable butterfly (DeBut) decomposes the filter matrix into generalized, butterflylike factors, thus achieving network compression orthogonal to the traditional ways of pruning or low-rank decomposition. This work reveals an intimate link between DeBut and a systematic hierarchy of depthwise and pointwise convolutions, which explains the empirically good performance of DeBut layers. By developing an automated DeBut chain generator, we show for the first time the viability of homogenizing a DNN into all DeBut layers, thus achieving an extreme sparsity and compression. Various examples and hardware benchmarks verify the advantages of All-DeBut networks. In particular, we show it is possible to compress a PointNet to < 5% parameters with < 5% accuracy drop, a record not achievable by other compression schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google