BHViT: Binarized Hybrid Vision Transformer

要約

モデルのバイナリゼーションは、畳み込みニューラルネットワーク（CNN）のリアルタイムおよびエネルギー効率の計算を可能にすることで大きな進歩を遂げ、エッジデバイスでVision Transfransfersons（VIT）が直面する展開課題の潜在的なソリューションを提供します。
ただし、CNNとトランスアーキテクチャの構造的な違いにより、BITモデルにバイナリCNN戦略を適用するだけで、パフォーマンスが大幅に低下します。
この課題に取り組むために、私たちは、3つの重要な観察をガイダンスした、二等式に優しいハイブリッドビットアーキテクチャとその完全な二等層モデルであるBHVITを提案します。
当初、BHVITは、ローカル情報相互作用と階層特徴の集約手法を粗いレベルから微細なレベルまで利用して、過度のトークンに起因する冗長計算に対処します。
次に、計算オーバーヘッドを大幅に増加させることなく、バイナリ多層パーセプトロン（MLP）モジュールのパフォーマンスを向上させるために、シフト操作に基づく新しいモジュールが提案されます。
さらに、量子化分解に基づく革新的な注意マトリックスの二等分法が提案され、二等層の注意マトリックスにおけるトークンの重要性を評価します。
最後に、バイナリ層の重量振動とAdam Optimizerの間の非互換性によって引き起こされる不十分な最適化に対処するための正則化の損失を提案します。
広範な実験結果は、提案されたアルゴリズムがバイナリVIT法の中でSOTAパフォーマンスを達成することを示しています。

要約(オリジナル)

Model binarization has made significant progress in enabling real-time and energy-efficient computation for convolutional neural networks (CNN), offering a potential solution to the deployment challenges faced by Vision Transformers (ViTs) on edge devices. However, due to the structural differences between CNN and Transformer architectures, simply applying binary CNN strategies to the ViT models will lead to a significant performance drop. To tackle this challenge, we propose BHViT, a binarization-friendly hybrid ViT architecture and its full binarization model with the guidance of three important observations. Initially, BHViT utilizes the local information interaction and hierarchical feature aggregation technique from coarse to fine levels to address redundant computations stemming from excessive tokens. Then, a novel module based on shift operations is proposed to enhance the performance of the binary Multilayer Perceptron (MLP) module without significantly increasing computational overhead. In addition, an innovative attention matrix binarization method based on quantization decomposition is proposed to evaluate the token’s importance in the binarized attention matrix. Finally, we propose a regularization loss to address the inadequate optimization caused by the incompatibility between the weight oscillation in the binary layers and the Adam Optimizer. Extensive experimental results demonstrate that our proposed algorithm achieves SOTA performance among binary ViT methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google