Beyond Domain Gap: Exploiting Subjectivity in Sketch-Based Person Retrieval

要約

個人の再識別 (re-ID) には、高密度に分散されたカメラが必要です。
実際には、関心のある人物はカメラで捉えられない可能性があるため、主観的な情報 (目撃者からのスケッチなど) を使用して取得する必要があります。
これまでの研究では、スケッチを使用したこのケースをスケッチ再識別 (Sketch re-ID) として定義し、ドメインギャップの解消に焦点を当てていました。
実際、主観性もまた重要な課題です。
私たちは、複数の目撃者の記述を含む新しいデータセットを提示することで、それをモデル化して調査します。
2つの側面を備えています。
1) 大規模。
これには 4,763 を超えるスケッチと 32,668 枚の写真が含まれており、最大の Sketch re-ID データセットとなっています。
2) 多視点と多スタイル。
私たちのデータセットは、アイデンティティごとに複数のスケッチを提供します。
目撃者の主観的な認知は、同じ人物に対する複数の視点を提供しますが、アーティストの描画スタイルが異なると、スケッチのスタイルにバリエーションが提供されます。
さらに、主観性の課題を軽減するための 2 つの新しいデザインがあります。
１）主観の融合。
我々は、同じ身元について異なる目撃者からスケッチを収集する非ローカル (NL) 融合モジュールを提案します。
2) 客観性の導入。
AttrAlign モジュールは、クロスドメイン機能を調整するための暗黙的なマスクとして属性を利用します。
Sketch re-IDの進化を進めるために、私たちは3つのベンチマーク（大規模、マルチスタイル、クロススタイル）を設定しました。
広範な実験により、これらのベンチマークにおける当社の優れたパフォーマンスが実証されました。
データセットとコードは、https://github.com/Lin-Kayla/subjectivity-sketch-reid で公開されています。

要約(オリジナル)

Person re-identification (re-ID) requires densely distributed cameras. In practice, the person of interest may not be captured by cameras and, therefore, needs to be retrieved using subjective information (e.g., sketches from witnesses). Previous research defines this case using the sketch as sketch re-identification (Sketch re-ID) and focuses on eliminating the domain gap. Actually, subjectivity is another significant challenge. We model and investigate it by posing a new dataset with multi-witness descriptions. It features two aspects. 1) Large-scale. It contains over 4,763 sketches and 32,668 photos, making it the largest Sketch re-ID dataset. 2) Multi-perspective and multi-style. Our dataset offers multiple sketches for each identity. Witnesses’ subjective cognition provides multiple perspectives on the same individual, while different artists’ drawing styles provide variation in sketch styles. We further have two novel designs to alleviate the challenge of subjectivity. 1) Fusing subjectivity. We propose a non-local (NL) fusion module that gathers sketches from different witnesses for the same identity. 2) Introducing objectivity. An AttrAlign module utilizes attributes as an implicit mask to align cross-domain features. To push forward the advance of Sketch re-ID, we set three benchmarks (large-scale, multi-style, cross-style). Extensive experiments demonstrate our leading performance in these benchmarks. Dataset and Codes are publicly available at: https://github.com/Lin-Kayla/subjectivity-sketch-reid

arxiv情報

提供元, 利用サービス

arxiv.jp, Google