ViR: Towards Efficient Vision Retention Backbones

要約

ビジョン トランスフォーマー (ViT) は、長距離の空間依存関係のモデリングにおける優れた機能と、大規模なトレーニング向けのスケーラビリティにより、近年非常に人気を集めています。
自己注意メカニズムのトレーニングの並列性は優れたパフォーマンスを維持する上で重要な役割を果たしますが、その 2 次の複雑さにより、高速推論を必要とする多くのシナリオでの ViT の適用が妨げられます。
この効果は、入力特徴の自己回帰モデリングが必要なアプリケーションではさらに顕著になります。
自然言語処理 (NLP) では、新たな取り組みの流れにより、生成アプリケーションでの効率的な推論を可能にする再帰的定式化を備えた並列化可能なモデルが提案されています。
この傾向に触発されて、私たちは、デュアル並列定式化と再帰定式化を備えたビジョン保持ネットワーク (ViR) と呼ばれる新しいクラスのコンピューター ビジョン モデルを提案します。これは、高速推論と競争力のあるパフォーマンスを備えた並列トレーニングの間の最適なバランスを実現します。
特に、ViR は、長いシーケンス長を処理する際の柔軟な定式化により、高解像度の画像を必要とするタスクでの画像スループットとメモリ消費量に対して有利にスケーリングします。
ViR は、認識タスクの一般的な視覚バックボーンにおいて二重並列および再帰的等価性を実現する最初の試みです。
当社は、さまざまなデータセット サイズとさまざまな画像解像度を使用した広範な実験を通じて ViR の有効性を検証し、競争力のあるパフォーマンスを達成しました。
コード: https://github.com/NVlabs/ViR

要約(オリジナル)

Vision Transformers (ViTs) have attracted a lot of popularity in recent years, due to their exceptional capabilities in modeling long-range spatial dependencies and scalability for large scale training. Although the training parallelism of self-attention mechanism plays an important role in retaining great performance, its quadratic complexity baffles the application of ViTs in many scenarios which demand fast inference. This effect is even more pronounced in applications in which autoregressive modeling of input features is required. In Natural Language Processing (NLP), a new stream of efforts has proposed parallelizable models with recurrent formulation that allows for efficient inference in generative applications. Inspired by this trend, we propose a new class of computer vision models, dubbed Vision Retention Networks (ViR), with dual parallel and recurrent formulations, which strike an optimal balance between fast inference and parallel training with competitive performance. In particular, ViR scales favorably for image throughput and memory consumption in tasks that require higher-resolution images due to its flexible formulation in processing large sequence lengths. The ViR is the first attempt to realize dual parallel and recurrent equivalency in a general vision backbone for recognition tasks. We have validated the effectiveness of ViR through extensive experiments with different dataset sizes and various image resolutions and achieved competitive performance. Code: https://github.com/NVlabs/ViR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google