Dynamic Gradient Reactivation for Backward Compatible Person Re-identification

要約

更新された新しいモデルの機能をギャラリーの古いモデルの既存の機能と比較できるように制約することを目的とした、個人の再識別（Re-ID）の下位互換性の問題を調査します。
既存の作品のほとんどは、古いものの配布を模倣するために新しい機能をプッシュすることに焦点を当てた蒸留ベースの方法を採用しています。
ただし、蒸留ベースの方法は、新しいフィーチャスペースに劣った古いフィーチャスペースを模倣させるため、本質的に最適ではありません。
この問題に対処するために、新しい機能と古い機能の間のランキングメトリックを直接最適化するランキングベースの下位互換性学習（RBCL）を提案します。
以前の方法とは異なり、RBCLは新しい機能をプッシュして、厳密に位置合わせするのではなく、古い機能空間で最高ランクの位置を見つけるだけであり、後方検索の最終目標に沿っています。
ただし、ランキングメトリックを微分可能にするために使用される鋭いシグモイド関数は、勾配消失問題も発生させるため、トレーニングの後期にランキングの改良を抑制します。
この問題に対処するために、動的勾配再アクティブ化（DGR）を提案します。これは、順方向ステップ中に動的計算定数を追加することにより、抑制された勾配を再アクティブ化できます。
最高ランクの位置をターゲットにするのをさらに支援するために、トレーニング中に古い機能空間全体を概算するためのネイバーコンテキストエージェント（NCA）を含めます。
ドメイン内設定のみをテストする以前の作業とは異なり、より意味があり困難なクロスドメイン設定（監視ありと監視なしの両方を含む）を導入する最初の試みを行います。
5つの設定すべてでの実験結果は、提案されたRBCL​​が、すべての設定で以前の最先端の方法を大幅に上回っていることを示しています。

要約(オリジナル)

We study the backward compatible problem for person re-identification (Re-ID), which aims to constrain the features of an updated new model to be comparable with the existing features from the old model in galleries. Most of the existing works adopt distillation-based methods, which focus on pushing new features to imitate the distribution of the old ones. However, the distillation-based methods are intrinsically sub-optimal since it forces the new feature space to imitate the inferior old feature space. To address this issue, we propose the Ranking-based Backward Compatible Learning (RBCL), which directly optimizes the ranking metric between new features and old features. Different from previous methods, RBCL only pushes the new features to find best-ranking positions in the old feature space instead of strictly alignment, and is in line with the ultimate goal of backward retrieval. However, the sharp sigmoid function used to make the ranking metric differentiable also incurs the gradient vanish issue, therefore stems the ranking refinement during the later period of training. To address this issue, we propose the Dynamic Gradient Reactivation (DGR), which can reactivate the suppressed gradients by adding dynamic computed constant during forward step. To further help targeting the best-ranking positions, we include the Neighbor Context Agents (NCAs) to approximate the entire old feature space during training. Unlike previous works which only test on the in-domain settings, we make the first attempt to introduce the cross-domain settings (including both supervised and unsupervised), which are more meaningful and difficult. The experimental results on all five settings show that the proposed RBCL outperforms previous state-of-the-art methods by large margins under all settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google