Vision Transformer Pruning Via Matrix Decomposition

要約

これは、行列分解による Vision Transformer Pruning のさらなる発展です。
Vision Transformer Pruning の目的は、ストレージ、実行時メモリ、および計算需要を削減するために、関連する重要度スコアを学習することによってデータセットの線形投影の次元を削減することです。
この論文では、生成された重要な特徴を維持しながら、いくつかの行列分解方法を実装して比較することにより、線形投影の次元と複雑さをさらに削減します。
最終的に、元の Github リポジトリ内の元の精度スコアと、特異値分解、4 つのバージョンの QR 分解、および LU を含むそれらの行列分解方法を使用した精度スコアを比較することにより、目標を達成する方法として特異値分解を選択しました。
因数分解。

要約(オリジナル)

This is a further development of Vision Transformer Pruning via matrix decomposition. The purpose of the Vision Transformer Pruning is to prune the dimension of the linear projection of the dataset by learning their associated importance score in order to reduce the storage, run-time memory, and computational demands. In this paper we further reduce dimension and complexity of the linear projection by implementing and comparing several matrix decomposition methods while preserving the generated important features. We end up selected the Singular Value Decomposition as the method to achieve our goal by comparing the original accuracy scores in the original Github repository and the accuracy scores of using those matrix decomposition methods, including Singular Value Decomposition, four versions of QR Decomposition, and LU factorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google