RIFormer: Keep Your Vision Backbone Effective While Removing Token Mixer

要約

タイトル: RIFormer：トークンミキサーを除去しながらビジョンバックボーンを効果的に保つ

要約:
-本論文は、基本的な構成要素からトークンミキサーを除去しながらビジョンバックボーンを効果的に保つ方法について研究しています。
-トークンミキサーは、ビジョントランスフォーマー（ViT）のセルフアテンションとして、異なる空間トークン間の情報伝達を行うことを意図していますが、著しい計算コストとレイテンシーに苦しんでいます。
-しかし、それらを直接削除すると、不完全なモデル構造が先行してしまい、精度の大幅な低下が生じます。
-このため、まず再パラメータ化のアイデアに基づいてRepIdentityFormerを開発し、トークンミキサーのないモデルアーキテクチャを研究しました。
-そして、単純なトークンミキサーのないバックボーンの制限を打ち破る改善された学習パラダイムを探求し、実証的な実践を5つのガイドラインにまとめました。
-提案された最適化戦略を装備することで、高効率な推論を楽しみながら極めてシンプルなビジョンバックボーンを構築することができます。
-広範な実験とablative分析は、ネットワークアーキテクチャの帰納バイアスが、適切な最適化戦略を備えた単純なネットワーク構造に取り込まれることを示しています。
-この研究が効率的なネットワーク設計の最適化に向けた探索の出発点となることを望みます。プロジェクトページ：https://techmonsterwang.github.io/RIFormer/。

要約(オリジナル)

This paper studies how to keep a vision backbone effective while removing token mixers in its basic building blocks. Token mixers, as self-attention for vision transformers (ViTs), are intended to perform information communication between different spatial tokens but suffer from considerable computational cost and latency. However, directly removing them will lead to an incomplete model structure prior, and thus brings a significant accuracy drop. To this end, we first develop an RepIdentityFormer base on the re-parameterizing idea, to study the token mixer free model architecture. And we then explore the improved learning paradigm to break the limitation of simple token mixer free backbone, and summarize the empirical practice into 5 guidelines. Equipped with the proposed optimization strategy, we are able to build an extremely simple vision backbone with encouraging performance, while enjoying the high efficiency during inference. Extensive experiments and ablative analysis also demonstrate that the inductive bias of network architecture, can be incorporated into simple network structure with appropriate optimization strategy. We hope this work can serve as a starting point for the exploration of optimization-driven efficient network design. Project page: https://techmonsterwang.github.io/RIFormer/.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI