Dynamic Template Initialization for Part-Aware Person Re-ID

要約

既存の人物再識別 (Re-ID) アプローチの多くは、人物の一部をローカライズするために分割されるか、グローバルな表現を作成するために縮小される特徴マップに依存しています。
部品のローカリゼーションは大きな成功を収めていますが、単純な位置ベースのパーティションまたは静的フィーチャ テンプレートのいずれかを使用しています。{\i}
ただし、これらは、特定の画像またはその位置にパーツが事前に存在するという仮説を立て、入力画像固有の情報を無視して、部分的なオクルージョンや部分的なプローブ画像を使用した再 ID などの困難なシナリオでの使いやすさを制限します。
このホワイト ペーパーでは、バックボーンの初期層で中間レベルのセマンティック機能を使用してパーツ テンプレートを動的に生成する、空間アテンション ベースの動的パーツ テンプレート初期化モジュールを紹介します。
自己注意レイヤーに続いて、バックボーンの人間の部分レベルの特徴を使用して、単純化された相互注意スキームを使用してさまざまな人体部分のテンプレートを抽出します。これを使用して、意味的に豊富なからさまざまな人間の部分の表現を識別および照合します。
モデル全体の識別能力を高めます。
パーツ記述子の適応重み付けをさらに調査して、ローカル属性の欠如または閉塞を定量化し、対応するパーツ記述子の一致基準への寄与を抑制します。
全体的、閉塞的、および部分的な Re-ID タスク ベンチマークに関する広範な実験は、提案されたアーキテクチャが競争力のあるパフォーマンスを達成できることを示しています。
コードは補足資料に含まれ、公開されます。

要約(オリジナル)

Many of the existing Person Re-identification (Re-ID) approaches depend on feature maps which are either partitioned to localize parts of a person or reduced to create a global representation. While part localization has shown significant success, it uses either na{\i}ve position-based partitions or static feature templates. These, however, hypothesize the pre-existence of the parts in a given image or their positions, ignoring the input image-specific information which limits their usability in challenging scenarios such as Re-ID with partial occlusions and partial probe images. In this paper, we introduce a spatial attention-based Dynamic Part Template Initialization module that dynamically generates part-templates using mid-level semantic features at the earlier layers of the backbone. Following a self-attention layer, human part-level features of the backbone are used to extract the templates of diverse human body parts using a simplified cross-attention scheme which will then be used to identify and collate representations of various human parts from semantically rich features, increasing the discriminative ability of the entire model. We further explore adaptive weighting of part descriptors to quantify the absence or occlusion of local attributes and suppress the contribution of the corresponding part descriptors to the matching criteria. Extensive experiments on holistic, occluded, and partial Re-ID task benchmarks demonstrate that our proposed architecture is able to achieve competitive performance. Codes will be included in the supplementary material and will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google