LookWhere? Efficient Visual Recognition by Learning Where to Look and What to See from Self-Supervision

要約

視覚変圧器は、より大きく、より正確で、計算がより高価です。
トークンの数は画像サイズとともに二次的に増加するため、高解像度ではさらに極端になります。
このコストに対処するための適応計算に目を向け、計算する場所を予測することを学習します。
私たちのLookwhere方法は、完全な高解像度入力を処理することなく、低解像度セレクターと高解像度抽出器の間の計算を分割します。
私たちは、自己監視された教師からの蒸留により、タスクの監督なしでセレクターと抽出器を共同で前提とし、事実上、同時にどこで何を計算するかを学びます。
剪定既に計算されたトークンを剪定することで節約するために支払う前のトークン削減方法、および複雑で高価なタスクごとの最適化を必要とするトークン選択方法は、経済的かつ正確に画像の表現を正確に選択および抽出する前には異なります。
私たちは、外観が高解像度の入力（交通標識）のまばらな認識に優れており、精度を維持しながら、フロップを最大34倍、時間を6倍縮小することを示しています。
また、グローバル（Imagenet分類）またはローカル（ADE20Kセグメンテーション）の標準認識タスクに優れており、精度を改善しながら時間を1.36倍に短縮します。

要約(オリジナル)

Vision transformers are ever larger, more accurate, and more expensive to compute. The expense is even more extreme at high resolution as the number of tokens grows quadratically with the image size. We turn to adaptive computation to cope with this cost by learning to predict where to compute. Our LookWhere method divides the computation between a low-resolution selector and a high-resolution extractor without ever processing the full high-resolution input. We jointly pretrain the selector and extractor without task supervision by distillation from a self-supervised teacher, in effect, learning where and what to compute simultaneously. Unlike prior token reduction methods, which pay to save by pruning already-computed tokens, and prior token selection methods, which require complex and expensive per-task optimization, LookWhere economically and accurately selects and extracts transferrable representations of images. We show that LookWhere excels at sparse recognition on high-resolution inputs (Traffic Signs), maintaining accuracy while reducing FLOPs by up to 34x and time by 6x. It also excels at standard recognition tasks that are global (ImageNet classification) or local (ADE20K segmentation), improving accuracy while reducing time by 1.36x.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google