Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID

要約

ディープラーニングは、独立同一分布（IID）の仮定の下で ReID モデルの精度を大幅に向上させましたが、そのようなモデルは、未知の新規ドメインに適用すると、予測不可能/未知のドメイン シフトにより著しく低下することも明らかになりました。
現代のドメイン一般化 (DG) ReID モデルは、インスタンス分類目標のトレーニングのみを通じてドメイン不変表現を学習するのに苦労しています。
私たちは、深層学習モデルが多大な影響を受けており、そのため背景の乱雑さ、スケールや視点の変動などのドメイン固有の特性に偏り、学習されたモデルの一般化可能性を制限していると考え、歩行者は同じものを所有しているドメイン不変であると仮説を立てます。
構造上の特徴。
ReID モデルがこれらの純粋な歩行者からのドメイン固有性を低くできるようにするために、弱くラベル付けされた歩行者顕著性検出に関する同時補助学習目標によって、主要な ReID インスタンス分類目標のモデル学習をガイドする方法を導入します。
2 つの学習目標間のモデル パラメーター空間で最適化基準が競合する問題を解決するために、主学習タスクの勾配に向けて補助タスクの損失勾配を調整する主補助目標関連付け (PAOA) メカニズムを導入します。
調和のとれたマルチタスク学習設計の恩恵を受けて、私たちのモデルを最近のテスト時間図で拡張して PAOA+ を形成できます。PAOA+ は、テスト ターゲット ドメインでのモデルの生成能力を最大化するために、補助目標に対してオンザフライ最適化を実行します。
。
実験により、提案された PAOA モデルの優位性が実証されました。

要約(オリジナル)

While deep learning has significantly improved ReID model accuracy under the independent and identical distribution (IID) assumption, it has also become clear that such models degrade notably when applied to an unseen novel domain due to unpredictable/unknown domain shift. Contemporary domain generalization (DG) ReID models struggle in learning domain-invariant representation solely through training on an instance classification objective. We consider that a deep learning model is heavily influenced and therefore biased towards domain-specific characteristics, e.g., background clutter, scale and viewpoint variations, limiting the generalizability of the learned model, and hypothesize that the pedestrians are domain invariant owning they share the same structural characteristics. To enable the ReID model to be less domain-specific from these pure pedestrians, we introduce a method that guides model learning of the primary ReID instance classification objective by a concurrent auxiliary learning objective on weakly labeled pedestrian saliency detection. To solve the problem of conflicting optimization criteria in the model parameter space between the two learning objectives, we introduce a Primary-Auxiliary Objectives Association (PAOA) mechanism to calibrate the loss gradients of the auxiliary task towards the primary learning task gradients. Benefiting from the harmonious multitask learning design, our model can be extended with the recent test-time diagram to form the PAOA+, which performs on-the-fly optimization against the auxiliary objective in order to maximize the model’s generative capacity in the test target domain. Experiments demonstrate the superiority of the proposed PAOA model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google