Not Every Patch is Needed: Towards a More Efficient and Effective Backbone for Video-based Person Re-identification

要約

このペーパーでは、ビデオベースの人の再識別（Reid）のための新しい効果的かつ効率的なプラグアンドプレイバックボーンを提案します。
通常、従来のビデオベースのReidメソッドは、CNNまたはトランスバックボーンを使用して、すべてのサンプリングされたビデオフレームのすべての位置の深い機能を抽出します。
ここでは、Reidビデオの異なるフレームがわずかな違いを示し、人間の比較的わずかな動きのために多くの同様の地域を含むことがあることがわかっているため、この徹底的な特徴抽出は不要であると主張します。
これに触発されて、この論文では、より選択的で効率的なパラダイムが検討されています。
具体的には、特徴抽出のための重要なおよび非繰り返しパッチのみを選択することにより、計算コストを削減するためのパッチ選択メカニズムを導入します。
さらに、スパース入力に起因する不完全なビューの問題に対処するために、擬似フレームグローバルコンテキストを生成および利用する新しいネットワーク構造を提示します。
これらの新しいデザインを組み込むことにより、バックボーンは高性能と低い計算コストの両方を達成できます。
複数のデータセットでの広範な実験により、このアプローチは、ResNet50と比較してVIT-Bと28 \％と比較して計算コストを74 \％減少させることが示されていますが、精度はVIT-Bと同等であり、RESNET50を大幅に上回ることが示されています。

要約(オリジナル)

This paper proposes a new effective and efficient plug-and-play backbone for video-based person re-identification (ReID). Conventional video-based ReID methods typically use CNN or transformer backbones to extract deep features for every position in every sampled video frame. Here, we argue that this exhaustive feature extraction could be unnecessary, since we find that different frames in a ReID video often exhibit small differences and contain many similar regions due to the relatively slight movements of human beings. Inspired by this, a more selective, efficient paradigm is explored in this paper. Specifically, we introduce a patch selection mechanism to reduce computational cost by choosing only the crucial and non-repetitive patches for feature extraction. Additionally, we present a novel network structure that generates and utilizes pseudo frame global context to address the issue of incomplete views resulting from sparse inputs. By incorporating these new designs, our backbone can achieve both high performance and low computational cost. Extensive experiments on multiple datasets show that our approach reduces the computational cost by 74\% compared to ViT-B and 28\% compared to ResNet50, while the accuracy is on par with ViT-B and outperforms ResNet50 significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google