A Unifying Tensor View for Lightweight CNNs

要約

軽量 CNN の畳み込みカーネルの分解はよく研究されているにもかかわらず、テンソル ネットワーク図や超次元抽象化に依存する既存の研究には幾何学の直観が欠けています。
この研究は、3D 再形成されたカーネル テンソルをそのさまざまなスライスごとの分解とランク 1 分解にリンクすることによって新しい視点を考案し、さまざまなテンソル近似と効率的な CNN モジュールの間の直接的な接続を可能にします。
具体的には、ポイントワイズ – 深さワイズ – ポイントワイズ (PDP) 構成が軽量 CNN の実行可能な構造を構成することが発見されました。
さらに、最新の ShiftNet への新しいリンクが確立され、ShiftResNet の精度の低下が 1% 未満でほぼ 50% の圧縮を達成する史上初のシフト レイヤー プルーニングが実現されました。

要約(オリジナル)

Despite the decomposition of convolutional kernels for lightweight CNNs being well studied, existing works that rely on tensor network diagrams or hyperdimensional abstraction lack geometry intuition. This work devises a new perspective by linking a 3D-reshaped kernel tensor to its various slice-wise and rank-1 decompositions, permitting a straightforward connection between various tensor approximations and efficient CNN modules. Specifically, it is discovered that a pointwise-depthwise-pointwise (PDP) configuration constitutes a viable construct for lightweight CNNs. Moreover, a novel link to the latest ShiftNet is established, inspiring a first-ever shift layer pruning that achieves nearly 50% compression with < 1% drop in accuracy for ShiftResNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google