Domain Adaptive Person Search via GAN-based Scene Synthesis for Cross-scene Videos

要約

人物検索は、実際のカメラから特定の歩行者を検索することを目的とした、コンピュータ ビジョンの分野における最近の課題となっています。それにもかかわらず、ほとんどの監視ビデオには各歩行者の数枚の画像しか含まれておらず、多くの場合、同じ背景や服装が特徴です。
したがって、現実の場面で人物検索のためのより多くの識別特徴を学習することは困難です。
この課題に取り組むために、私たちは敵対的生成ネットワーク (GAN) を利用して監視ビデオからデータを合成します。
GAN は高品質の画像を効率的に生成できるため、コンピューター ビジョンの問題で成功を収めてきました。
ビデオを処理して正確な検出結果を生み出すことができる、一般的な Fast R-CNN モデルを変更しただけです。
2 段階モデル​​によってもたらされるプレッシャーを適切に軽減するために、背後の部分にポジティブなイメージを提供する Assisted-Identity Query Module (AIDQ) を設計します。
さらに、人物検索タスク用に高品質のクロス ID 人物画像を合成できる、新しい GAN ベースのシーン合成モデルが提案されています。
GAN ベースのシーン合成モデルの特徴学習を容易にするために、合成画像と元の画像を共同学習するオンライン学習戦略を採用します。
広く使用されている 2 つの人物検索ベンチマーク、CUHK-SYSU と PRW に関する広範な実験により、私たちの手法が優れたパフォーマンスを達成していることが示され、広範なアブレーション研究により、GAN 合成データがデータセットの変動性を効果的に高め、より現実的であることがさらに正当化されました。
。

要約(オリジナル)

Person search has recently been a challenging task in the computer vision domain, which aims to search specific pedestrians from real cameras.Nevertheless, most surveillance videos comprise only a handful of images of each pedestrian, which often feature identical backgrounds and clothing. Hence, it is difficult to learn more discriminative features for person search in real scenes. To tackle this challenge, we draw on Generative Adversarial Networks (GAN) to synthesize data from surveillance videos. GAN has thrived in computer vision problems because it produces high-quality images efficiently. We merely alter the popular Fast R-CNN model, which is capable of processing videos and yielding accurate detection outcomes. In order to appropriately relieve the pressure brought by the two-stage model, we design an Assisted-Identity Query Module (AIDQ) to provide positive images for the behind part. Besides, the proposed novel GAN-based Scene Synthesis model that can synthesize high-quality cross-id person images for person search tasks. In order to facilitate the feature learning of the GAN-based Scene Synthesis model, we adopt an online learning strategy that collaboratively learns the synthesized images and original images. Extensive experiments on two widely used person search benchmarks, CUHK-SYSU and PRW, have shown that our method has achieved great performance, and the extensive ablation study further justifies our GAN-synthetic data can effectively increase the variability of the datasets and be more realistic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google