Cross-Platform Video Person ReID: A New Benchmark Dataset and Adaptation Approach

要約

この論文では、G2A-VReID という地対空ビデオベースの人物再識別のための大規模ベンチマーク データセットを構築します。このデータセットは 185,907 枚の画像と 5,576 個のトラックレットで構成され、2,788 個の異なる ID を特徴としています。
私たちの知る限り、これは地上から空中までのシナリオにおけるビデオ ReID の最初のデータセットです。
G2A-VReID データセットには次の特徴があります。 1) 大幅なビューの変化。
2) 多数の注釈付きアイデンティティ。
3）豊富なアウトドアシナリオ。
4) 解像度の大きな違い。
さらに、クロスプラットフォームの視覚的位置合わせの問題を、視覚言語モデル (つまり、CLIP) を通じて視覚的意味論的位置合わせに変換し、パラメータ効率の高いビデオ セット レベル アダプター モジュールを適用することにより、クロスプラットフォーム ReID の新しいベンチマーク アプローチを提案します。
画像ベースの基盤モデルをビデオ ReID タスクに適応させるため、VSLA-CLIP と呼ばれます。
さらに、プラットフォーム間の大きな差異をさらに減らすために、視覚的な機能を効率的に調整するためのプラットフォーム ブリッジ プロンプトも考案しました。
広範な実験により、既存のすべてのビデオ ReID データセットと私たちが提案する G2A-VReID データセットに対する提案された方法の優位性が実証されました。

要約(オリジナル)

In this paper, we construct a large-scale benchmark dataset for Ground-to-Aerial Video-based person Re-Identification, named G2A-VReID, which comprises 185,907 images and 5,576 tracklets, featuring 2,788 distinct identities. To our knowledge, this is the first dataset for video ReID under Ground-to-Aerial scenarios. G2A-VReID dataset has the following characteristics: 1) Drastic view changes; 2) Large number of annotated identities; 3) Rich outdoor scenarios; 4) Huge difference in resolution. Additionally, we propose a new benchmark approach for cross-platform ReID by transforming the cross-platform visual alignment problem into visual-semantic alignment through vision-language model (i.e., CLIP) and applying a parameter-efficient Video Set-Level-Adapter module to adapt image-based foundation model to video ReID tasks, termed VSLA-CLIP. Besides, to further reduce the great discrepancy across the platforms, we also devise the platform-bridge prompts for efficient visual feature alignment. Extensive experiments demonstrate the superiority of the proposed method on all existing video ReID datasets and our proposed G2A-VReID dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google