Deep Multimodal Fusion for Generalizable Person Re-identification

要約

個人の再識別は、公安やビデオ監視でのさまざまなアプリケーションにより、現実的なシナリオで重要な役割を果たします。
最近、大規模なデータセットと強力なコンピューティング パフォーマンスの恩恵を受ける、教師ありまたは半教師なしの学習パラダイムを活用することで、特定のターゲット ドメインで競争力のあるパフォーマンスを達成しました。
ただし、Re-ID モデルがターゲット サンプルなしで新しいドメインに直接展開されると、常にパフォーマンスが大幅に低下し、ドメインの一般化が不十分になります。
この課題に対処するために、事前トレーニング中の表現学習を支援するための豊富なセマンティック知識を精緻化するディープ マルチモーダル フュージョン ネットワークを提案します。
重要なことは、さまざまなモダリティの機能を共通の空間に変換するために、マルチモーダル融合戦略が導入されていることです。これにより、Re-ID モデルの一般化機能が大幅に向上します。
微調整段階については、現実的なデータセットを採用して事前トレーニング済みモデルを微調整し、実際のデータとの分布の整合性を高めます。
ベンチマークでの包括的な実験は、私たちの方法が以前のドメインの一般化またはメタ学習方法を明確なマージンで大幅に上回ることができることを示しています。
ソース コードは、https://github.com/JeremyXSC/DMF でも公開されます。

要約(オリジナル)

Person re-identification plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. Recently, leveraging the supervised or semi-unsupervised learning paradigms, which benefits from the large-scale datasets and strong computing performance, has achieved a competitive performance on a specific target domain. However, when Re-ID models are directly deployed in a new domain without target samples, they always suffer from considerable performance degradation and poor domain generalization. To address this challenge, we propose a Deep Multimodal Fusion network to elaborate rich semantic knowledge for assisting in representation learning during the pre-training. Importantly, a multimodal fusion strategy is introduced to translate the features of different modalities into the common space, which can significantly boost generalization capability of Re-ID model. As for the fine-tuning stage, a realistic dataset is adopted to fine-tune the pre-trained model for better distribution alignment with real-world data. Comprehensive experiments on benchmarks demonstrate that our method can significantly outperform previous domain generalization or meta-learning methods with a clear margin. Our source code will also be publicly available at https://github.com/JeremyXSC/DMF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google