Glance and Focus Networks for Dynamic Visual Recognition

要約

視覚認識タスクには空間的な冗長性が広く存在する。すなわち、画像やビデオフレーム中の識別特徴は通常ピクセルのサブセットのみに対応し、残りの領域は目下のタスクに無関係である。そのため、全ての画素を等しい計算量で処理する静的モデルでは、時間と空間の消費の点でかなりの冗長性が生じる。本論文では、人間の視覚系を模倣し、画像認識問題を粗から細への逐次的な特徴学習過程として定式化する。具体的には、提案するGlance and Focus Network (GFNet)は、まず入力画像の低解像度スケールでの大域表現を素早く抽出し、次に一連の顕著な（小さな）領域に戦略的に注目し、より細かな特徴を学習する。この逐次プロセスは、テスト時の適応的推論を自然に促進する。なぜなら、モデルがその予測について十分に確信した時点で終了させることができ、さらなる冗長な計算を回避することができるからである。我々のモデルで判別領域を見つける問題は強化学習タスクとして定式化されており、分類ラベル以外の追加の手動アノテーションを必要としないことは注目に値する。GFNetは、既製のバックボーンモデル（MobileNets、EfficientNets、TSMなど）と互換性があり、特徴抽出器として便利に導入できるため、一般的で柔軟性がある。様々な画像分類やビデオ認識タスクと様々なバックボーンモデルを用いた広範な実験により、本手法の顕著な効率性を実証する。例えば、iPhone XS Max上の高効率なMobileNet-V3の平均待ち時間を、精度を犠牲にすることなく1.3倍短縮することができます。コードと事前学習済みモデルは、https://github.com/blackfeather-wang/GFNet-Pytorch で入手できます。

要約(オリジナル)

Spatial redundancy widely exists in visual recognition tasks, i.e., discriminative features in an image or video frame usually correspond to only a subset of pixels, while the remaining regions are irrelevant to the task at hand. Therefore, static models which process all the pixels with an equal amount of computation result in considerable redundancy in terms of time and space consumption. In this paper, we formulate the image recognition problem as a sequential coarse-to-fine feature learning process, mimicking the human visual system. Specifically, the proposed Glance and Focus Network (GFNet) first extracts a quick global representation of the input image at a low resolution scale, and then strategically attends to a series of salient (small) regions to learn finer features. The sequential process naturally facilitates adaptive inference at test time, as it can be terminated once the model is sufficiently confident about its prediction, avoiding further redundant computation. It is worth noting that the problem of locating discriminant regions in our model is formulated as a reinforcement learning task, thus requiring no additional manual annotations other than classification labels. GFNet is general and flexible as it is compatible with any off-the-shelf backbone models (such as MobileNets, EfficientNets and TSM), which can be conveniently deployed as the feature extractor. Extensive experiments on a variety of image classification and video recognition tasks and with various backbone models demonstrate the remarkable efficiency of our method. For example, it reduces the average latency of the highly efficient MobileNet-V3 on an iPhone XS Max by 1.3x without sacrificing accuracy. Code and pre-trained models are available at https://github.com/blackfeather-wang/GFNet-Pytorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL