Counterfactual Intervention Feature Transfer for Visible-Infrared Person Re-identification

要約

グラフベースのモデルは、最近、個人の再識別タスクで大きな成功を収めました。これは、最初に異なる人々の間のグラフ トポロジ構造 (アフィニティ) を計算し、次にそれらの間で情報を渡して、より強力な機能を実現します。
しかし、可視赤外線人物再識別タスク (VI-ReID) の既存のグラフベースの方法は、次の 2 つの問題のために一般化がうまくいかないことがわかりました。
.
2 つのモダリティ データの数は、トレーニング段階ではバランスが取れていますが、推論では非常にバランスが取れていないため、グラフベースの VI-ReID メソッドの一般化が不十分です。
2) グラフ モジュールへのエンド ツー エンドの学習方法に起因する準最適なトポロジ構造。
十分に訓練された入力機能は、グラフ トポロジの学習を弱め、推論プロセス中に十分に一般化されないことを分析します。
この論文では、これらの問題に取り組むための反事実介入機能転送（CIFT）法を提案します。
具体的には、Homogeneous and Heterogeneous Feature Transfer (H2FT) は、適切に設計された 2 つの独立したタイプのグラフ モジュールと不均衡なシナリオ シミュレーションによって、トレーニング テスト モダリティのバランス ギャップを減らすように設計されています。
さらに、反事実関係介入 (CRI) が提案され、反事実介入と因果効果ツールを利用して、トレーニング プロセス全体におけるトポロジ構造の役割を強調し、グラフ トポロジ構造の信頼性を高めます。
標準 VI-ReID ベンチマークでの広範な実験により、CIFT がさまざまな設定の下で最先端の方法よりも優れていることが実証されています。

要約(オリジナル)

Graph-based models have achieved great success in person re-identification tasks recently, which compute the graph topology structure (affinities) among different people first and then pass the information across them to achieve stronger features. But we find existing graph-based methods in the visible-infrared person re-identification task (VI-ReID) suffer from bad generalization because of two issues: 1) train-test modality balance gap, which is a property of VI-ReID task. The number of two modalities data are balanced in the training stage, but extremely unbalanced in inference, causing the low generalization of graph-based VI-ReID methods. 2) sub-optimal topology structure caused by the end-to-end learning manner to the graph module. We analyze that the well-trained input features weaken the learning of graph topology, making it not generalized enough during the inference process. In this paper, we propose a Counterfactual Intervention Feature Transfer (CIFT) method to tackle these problems. Specifically, a Homogeneous and Heterogeneous Feature Transfer (H2FT) is designed to reduce the train-test modality balance gap by two independent types of well-designed graph modules and an unbalanced scenario simulation. Besides, a Counterfactual Relation Intervention (CRI) is proposed to utilize the counterfactual intervention and causal effect tools to highlight the role of topology structure in the whole training process, which makes the graph topology structure more reliable. Extensive experiments on standard VI-ReID benchmarks demonstrate that CIFT outperforms the state-of-the-art methods under various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google