Self-Supervised Partial Cycle-Consistency for Multi-View Matching

要約

マルチカメラ システムでは、部分的に重複するカメラ ビュー間でオブジェクトを一致させることが重要であり、ビュー不変の特徴抽出ネットワークが必要です。
このようなネットワークをサイクル一貫性を持ってトレーニングすると、労働集約的なラベル付けの必要性が回避されます。
この論文では、サイクル一貫性の数学的定式化を拡張して、部分的なオーバーラップを処理します。
次に、トレーニング損失に部分的な重複を考慮するよう指示する擬似マスクを導入します。
さらに、互いに補完し、この自己監視設定のデータ入力を改善する時間発散シーン サンプリング スキームを提示するいくつかの新しいサイクル バリアントを提示します。
困難な DIVOTrack データセットに対するクロスカメラ マッチング実験により、私たちのアプローチの利点が示されました。
自己監視型の最先端技術と比較して、私たちの貢献を合計することで、4.3 パーセント ポイント高い F1 スコアを達成しました。
私たちの改善は、トレーニング データの重複を減らすために堅牢であり、多くの人々の間で少数のマッチングを行う必要がある困難なシーンで大幅な改善が加えられています。
私たちの方法でトレーニングされた自己教師あり特徴ネットワークは、さまざまなマルチカメラ設定でオブジェクトを照合するのに効果的であり、大規模なマルチカメラ シーンの理解などの複雑なタスクの機会を提供します。

要約(オリジナル)

Matching objects across partially overlapping camera views is crucial in multi-camera systems and requires a view-invariant feature extraction network. Training such a network with cycle-consistency circumvents the need for labor-intensive labeling. In this paper, we extend the mathematical formulation of cycle-consistency to handle partial overlap. We then introduce a pseudo-mask which directs the training loss to take partial overlap into account. We additionally present several new cycle variants that complement each other and present a time-divergent scene sampling scheme that improves the data input for this self-supervised setting. Cross-camera matching experiments on the challenging DIVOTrack dataset show the merits of our approach. Compared to the self-supervised state-of-the-art, we achieve a 4.3 percentage point higher F1 score with our combined contributions. Our improvements are robust to reduced overlap in the training data, with substantial improvements in challenging scenes that need to make few matches between many people. Self-supervised feature networks trained with our method are effective at matching objects in a range of multi-camera settings, providing opportunities for complex tasks like large-scale multi-camera scene understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google