Diverse Representation Embedding for Lifelong Person Re-Identification

要約

生涯個人再識別 (LReID) は、連続するデータ ストリームから継続的に学習し、複数のカメラで個人を照合することを目的としています。
LReID の主な課題は、新しい情報を段階的に学習しながら、古い知識を効果的に保存する方法です。これは、タスク レベルのドメイン ギャップと古いタスク データセットの制限によって引き起こされます。
CNN バックボーンに基づく既存の手法では、さまざまな観点から各インスタンスの表現を調査するには不十分であり、限られた古いタスク データセットと新しいタスク データセットでのモデルのパフォーマンスが制限されます。
これらの方法とは異なり、最初に LReID の純粋なトランスフォーマーを探索する Diverse Representations Embedding (DRE) フレームワークを提案します。
提案された DRE は、古い知識を保存しながら、インスタンス レベルおよびタスク レベルのレイアウトに基づいて新しい情報に適応します。
具体的には、適応制約モジュール（ACM）が、トランスフォーマベースのバックボーンによって生成された複数の重なり合う表現間の統合と押しのけ演算を実装し、各インスタンスの豊富で識別的な表現を取得して、LReIDの適応能力を向上させることが提案されています。
処理された多様な表現に基づいて、調整モデルと学習者モデルを導入することにより、タスクレベルのレイアウトでの知識更新（KU）および知識保存（KP）戦略を提案します。
KU 戦略は、事前の調整モデルの下で新しい情報に対する学習者モデルの適応学習能力を強化します。KP 戦略は、限られた古いタスク データセットで表現レベルの調整とロジット レベルの監視によって操作される古い知識を保存しながら、学習者の適応学習情報容量を保証します。
LReID モデル。
最先端の方法と比較して、私たちの方法は全体的で大規模なオクルージョンされたデータセットにおいて大幅に向上したパフォーマンスを実現します。

要約(オリジナル)

Lifelong Person Re-Identification (LReID) aims to continuously learn from successive data streams, matching individuals across multiple cameras. The key challenge for LReID is how to effectively preserve old knowledge while incrementally learning new information, which is caused by task-level domain gaps and limited old task datasets. Existing methods based on CNN backbone are insufficient to explore the representation of each instance from different perspectives, limiting model performance on limited old task datasets and new task datasets. Unlike these methods, we propose a Diverse Representations Embedding (DRE) framework that first explores a pure transformer for LReID. The proposed DRE preserves old knowledge while adapting to new information based on instance-level and task-level layout. Concretely, an Adaptive Constraint Module (ACM) is proposed to implement integration and push away operations between multiple overlapping representations generated by transformer-based backbone, obtaining rich and discriminative representations for each instance to improve adaptive ability of LReID. Based on the processed diverse representations, we propose Knowledge Update (KU) and Knowledge Preservation (KP) strategies at the task-level layout by introducing the adjustment model and the learner model. KU strategy enhances the adaptive learning ability of learner models for new information under the adjustment model prior, and KP strategy preserves old knowledge operated by representation-level alignment and logit-level supervision in limited old task datasets while guaranteeing the adaptive learning information capacity of the LReID model. Compared to state-of-the-art methods, our method achieves significantly improved performance in holistic, large-scale, and occluded datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google