Ternary Singular Value Decomposition as a Better Parameterized Form in Linear Mapping

要約

我々は、顕著なネットワーク圧縮パフォーマンスを達成するための線形マッピングのシンプルかつ斬新なパラメータ化された形式、つまり Ternary SVD (TSVD) と呼ばれる疑似 SVD を紹介します。
通常の SVD とは異なり、TSVD は SVD の $U$ 行列と $V$ 行列を $\{\pm 1, 0\}$ 形式の 3 値行列に制限します。
つまり、TSVD では、$U(\cdot)$ と $V(\cdot)$ を計算するときに、高価な乗算命令を使用する代わりに加算命令のみが必要になります。
TSVD には、トレーニング後の量子化や量子化を意識したトレーニングなど、直接およびトレーニング移行アルゴリズムがそれぞれ提供されています。
さらに、直接遷移アルゴリズムの収束を理論的に分析します。
実験では、TSVD が ConvNext、Swim、BERT などの現在のベースライン モデルや OPT などの大規模言語モデルを含む、さまざまなタイプのネットワークやタスクで最先端のネットワーク圧縮パフォーマンスを達成できることを実証します。

要約(オリジナル)

We present a simple yet novel parameterized form of linear mapping to achieves remarkable network compression performance: a pseudo SVD called Ternary SVD (TSVD). Unlike vanilla SVD, TSVD limits the $U$ and $V$ matrices in SVD to ternary matrices form in $\{\pm 1, 0\}$. This means that instead of using the expensive multiplication instructions, TSVD only requires addition instructions when computing $U(\cdot)$ and $V(\cdot)$. We provide direct and training transition algorithms for TSVD like Post Training Quantization and Quantization Aware Training respectively. Additionally, we analyze the convergence of the direct transition algorithms in theory. In experiments, we demonstrate that TSVD can achieve state-of-the-art network compression performance in various types of networks and tasks, including current baseline models such as ConvNext, Swim, BERT, and large language model like OPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google