SeKron: A Decomposition Method Supporting Many Factorization Structures

要約

畳み込みニューラル ネットワーク (CNN) は、ほとんどの画像処理およびコンピューター ビジョン アプリケーションの事実上の標準となっていますが、エッジ デバイスへの展開は依然として困難です。
テンソル分解法は、CNN を圧縮して、畳み込みテンソルに特定の因数分解構造を課すことにより、幅広いデバイスの制約を満たす手段を提供します。
ただし、最先端の分解アプローチによって提示される因数分解構造の小さなセットに限定されると、最適なパフォーマンスが得られない可能性があります。
クロネッカー積のシーケンスを使用して、さまざまな因数分解構造を提供する新しいテンソル分解法である SeKron を提案します。
近似クロネッカー因子を再帰的に見つけることにより、各因数分解構造の最適な分解に到達します。
SeKron が、Tensor-Train (TT)、Tensor-Ring (TR)、Canonical Polyadic (CP)、Tucker 分解など、広く使用されている方法を一般化する柔軟な分解であることを示します。
重要なことは、すべての SeKron 構造で共有される効率的な畳み込み射影アルゴリズムを導き出し、CNN モデルのシームレスな圧縮につながることです。
高レベルと低レベルの両方のコンピューター ビジョン タスクでのモデル圧縮について SeKron を検証し、最先端の分解方法よりも優れていることを確認しました。

要約(オリジナル)

While convolutional neural networks (CNNs) have become the de facto standard for most image processing and computer vision applications, their deployment on edge devices remains challenging. Tensor decomposition methods provide a means of compressing CNNs to meet the wide range of device constraints by imposing certain factorization structures on their convolution tensors. However, being limited to the small set of factorization structures presented by state-of-the-art decomposition approaches can lead to sub-optimal performance. We propose SeKron, a novel tensor decomposition method that offers a wide variety of factorization structures, using sequences of Kronecker products. By recursively finding approximating Kronecker factors, we arrive at optimal decompositions for each of the factorization structures. We show that SeKron is a flexible decomposition that generalizes widely used methods, such as Tensor-Train (TT), Tensor-Ring (TR), Canonical Polyadic (CP) and Tucker decompositions. Crucially, we derive an efficient convolution projection algorithm shared by all SeKron structures, leading to seamless compression of CNN models. We validate SeKron for model compression on both high-level and low-level computer vision tasks and find that it outperforms state-of-the-art decomposition methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google