TRT-ViT: TensorRT-oriented Vision Transformer

要約

実用化の観点から、既存の優れたトランスを再検討します。
それらのほとんどは、基本的なResNetsシリーズほど効率的ではなく、現実的な展開シナリオから逸脱しています。
FLOPやパラメータが一方的で、最適ではなく、ハードウェアに依存しないなど、計算効率を測定するための現在の基準が原因である可能性があります。
したがって、このホワイトペーパーでは、特定のハードウェアでのTensorRTレイテンシを効率メトリックとして直接扱い、計算能力、メモリコスト、および帯域幅を含むより包括的なフィードバックを提供します。
一連の制御された実験に基づいて、この作業は、TensorRT指向で展開に適したネットワーク設計の4つの実用的なガイドラインを導き出します。たとえば、ステージレベルの初期CNNと後期Transformer、ブロックレベルの初期Transformerと後期CNNです。
したがって、TentsortRT指向の変圧器のファミリーが提示され、TRT-ViTと略されます。
広範な実験により、TRT-ViTは、画像分類、オブジェクト検出、セマンティックセグメンテーションなどのさまざまな視覚的タスクにわたる遅延/精度のトレードオフに関して、既存のConvNetおよびビジョントランスフォーマーを大幅に上回っています。
たとえば、ImageNet-1kのトップ1の精度が82.7％の場合、TRT-ViTはCSWinより2.7 $ \ times $速く、Twinsより2.0 $$times$速くなります。
MS-COCOオブジェクト検出タスクでは、TRT-ViTはTwinsと同等のパフォーマンスを実現し、推論速度は2.8 $ \times$増加します。

要約(オリジナル)

We revisit the existing excellent Transformers from the perspective of practical application. Most of them are not even as efficient as the basic ResNets series and deviate from the realistic deployment scenario. It may be due to the current criterion to measure computation efficiency, such as FLOPs or parameters is one-sided, sub-optimal, and hardware-insensitive. Thus, this paper directly treats the TensorRT latency on the specific hardware as an efficiency metric, which provides more comprehensive feedback involving computational capacity, memory cost, and bandwidth. Based on a series of controlled experiments, this work derives four practical guidelines for TensorRT-oriented and deployment-friendly network design, e.g., early CNN and late Transformer at stage-level, early Transformer and late CNN at block-level. Accordingly, a family of TensortRT-oriented Transformers is presented, abbreviated as TRT-ViT. Extensive experiments demonstrate that TRT-ViT significantly outperforms existing ConvNets and vision Transformers with respect to the latency/accuracy trade-off across diverse visual tasks, e.g., image classification, object detection and semantic segmentation. For example, at 82.7% ImageNet-1k top-1 accuracy, TRT-ViT is 2.7$\times$ faster than CSWin and 2.0$\times$ faster than Twins. On the MS-COCO object detection task, TRT-ViT achieves comparable performance with Twins, while the inference speed is increased by 2.8$\times$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google