TransAxx: Efficient Transformers with Approximate Computing

要約

変圧器アーキテクチャによって最近導入されたVision Transfransfransfranslansfranfer（VIT）モデルは、非常に競争力があり、多くの場合、畳み込みニューラルネットワーク（CNNS）の一般的な代替手段になることが示されています。
ただし、これらのモデルの高い計算要件は、特に低電力デバイスでの実際的な適用性を制限しています。
現在の最先端は、DNN加速器の非常に増加した計算需要に対処するためにおおよその乗数を雇用していますが、VITモデルでの使用を調査したことはありません。
この作業では、TransAxxを提案します。TransAxxは、近似算術のための高速な固有のサポートを可能にして、VITモデルなどのDNNSに対する近似コンピューティングの影響をシームレスに評価できるTransAxxを提案します。
TransAxxを使用して、Imagenet Dataset上のトランスモデルの感度を分析して、増殖を近似し、概算を認識した微調整を実行して精度を回復します。
さらに、VITモデルの近似アクセラレータを生成する方法を提案します。
私たちのアプローチでは、モンテカルロツリー検索（MCTS）アルゴリズムを使用して、ハードウェア駆動型の手作りポリシーを使用して、可能な構成のスペースを効率的に検索します。
私たちの評価は、精度と電力の間で重要なトレードオフを達成する際の方法論の有効性を示しており、その結果、パフォーマンスを損なうことなく大幅に利益を得ています。

要約(オリジナル)

Vision Transformer (ViT) models which were recently introduced by the transformer architecture have shown to be very competitive and often become a popular alternative to Convolutional Neural Networks (CNNs). However, the high computational requirements of these models limit their practical applicability especially on low-power devices. Current state-of-the-art employs approximate multipliers to address the highly increased compute demands of DNN accelerators but no prior research has explored their use on ViT models. In this work we propose TransAxx, a framework based on the popular PyTorch library that enables fast inherent support for approximate arithmetic to seamlessly evaluate the impact of approximate computing on DNNs such as ViT models. Using TransAxx we analyze the sensitivity of transformer models on the ImageNet dataset to approximate multiplications and perform approximate-aware finetuning to regain accuracy. Furthermore, we propose a methodology to generate approximate accelerators for ViT models. Our approach uses a Monte Carlo Tree Search (MCTS) algorithm to efficiently search the space of possible configurations using a hardware-driven hand-crafted policy. Our evaluation demonstrates the efficacy of our methodology in achieving significant trade-offs between accuracy and power, resulting in substantial gains without compromising on performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google