Keypoint Promptable Re-Identification

要約

遮蔽された人物の再識別 (ReID) は、遮蔽された個人を外観に基づいて照合するメトリック学習タスクです。
多くの研究が物体によって引き起こされるオクルージョンに取り組んできましたが、複数人のオクルージョンについてはまだあまり研究されていません。
この研究では、これまでのオクルージョンされた ReID 手法で見落とされていた重要な課題、つまり複数の個人が同じ境界ボックス内に表示されるときに発生する複数人物曖昧さ (MPA) を特定し、これに対処します。これにより、候補の中から意図した ReID ターゲットを決定することができなくなります。
。
ビジョン内でのプロンプトに関する最近の研究に触発されて、意図されたターゲットを示すセマンティック キーポイントのセットで入力バウンディング ボックスを明示的に補完する ReID 問題の新しい定式化である Keypoint Promptable ReID (KPR) を紹介します。
プロンプト可能な再識別は未開発のパラダイムであるため、既存の ReID データセットにはプロンプトに必要なピクセルレベルのアノテーションが不足しています。
このギャップを埋め、このトピックに関するさらなる研究を促進するために、強力な対人オクルージョンを特徴とする、キーポイント ラベルを備えた新しい ReID データセットである Occluded-PoseTrack ReID を紹介します。
さらに、4 つの人気のある ReID ベンチマークのカスタム キーポイント ラベルをリリースします。
人物検索だけでなく姿勢追跡に関する実験も、私たちの方法がさまざまな遮蔽されたシナリオに対するこれまでの最先端のアプローチを体系的に上回っていることを実証しています。
コード、データセット、注釈は https://github.com/VlSomers/keypoint_promptable_reidentification で入手できます。

要約(オリジナル)

Occluded Person Re-Identification (ReID) is a metric learning task that involves matching occluded individuals based on their appearance. While many studies have tackled occlusions caused by objects, multi-person occlusions remain less explored. In this work, we identify and address a critical challenge overlooked by previous occluded ReID methods: the Multi-Person Ambiguity (MPA) arising when multiple individuals are visible in the same bounding box, making it impossible to determine the intended ReID target among the candidates. Inspired by recent work on prompting in vision, we introduce Keypoint Promptable ReID (KPR), a novel formulation of the ReID problem that explicitly complements the input bounding box with a set of semantic keypoints indicating the intended target. Since promptable re-identification is an unexplored paradigm, existing ReID datasets lack the pixel-level annotations necessary for prompting. To bridge this gap and foster further research on this topic, we introduce Occluded-PoseTrack ReID, a novel ReID dataset with keypoints labels, that features strong inter-person occlusions. Furthermore, we release custom keypoint labels for four popular ReID benchmarks. Experiments on person retrieval, but also on pose tracking, demonstrate that our method systematically surpasses previous state-of-the-art approaches on various occluded scenarios. Our code, dataset and annotations are available at https://github.com/VlSomers/keypoint_promptable_reidentification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google