TrackFlow: Multi-Object Tracking with Normalizing Flows

要約

マルチオブジェクト追跡の分野では、最近、検出による追跡という古き良きスキーマに新たな関心が集まっています。その単純さと強力な先例により、注意による追跡アプローチの複雑な設計や面倒な面倒な世話から解放されるからです。
これを考慮して、我々は、検出による追跡をマルチモーダル設定に拡張することを目指しており、そこでは、2D モーション キュー、視覚的外観、姿勢推定などの異種情報から包括的なコストを計算する必要があります。
より正確には、3D 情報の大まかな推定も利用可能であり、他の従来の指標 (IoU など) と統合する必要があるケース スタディに従います。
それを達成するために、最近のアプローチは、単純なルールまたは複雑なヒューリスティックのいずれかに頼って、各コストの寄与のバランスを取ります。
ただし、i) ホールドアウト セットで調整されたハイパーパラメータを慎重に調整する必要があり、ii) これらのコストが独立していることを意味しますが、これは現実には当てはまりません。
私たちは、適切な関連性の条件付き結合確率分布をモデル化するために訓練された深い密度推定器によって生成される負の対数尤度として候補関連性のコストを考慮する、洗練された確率的定式化に基づいてこれらの問題に対処します。
シミュレートされたベンチマークと実際のベンチマークの両方で実施さ​​れた私たちの実験は、私たちのアプローチがいくつかの検出による追跡アルゴリズムのパフォーマンスを一貫して向上させることを示しています。

要約(オリジナル)

The field of multi-object tracking has recently seen a renewed interest in the good old schema of tracking-by-detection, as its simplicity and strong priors spare it from the complex design and painful babysitting of tracking-by-attention approaches. In view of this, we aim at extending tracking-by-detection to multi-modal settings, where a comprehensive cost has to be computed from heterogeneous information e.g., 2D motion cues, visual appearance, and pose estimates. More precisely, we follow a case study where a rough estimate of 3D information is also available and must be merged with other traditional metrics (e.g., the IoU). To achieve that, recent approaches resort to either simple rules or complex heuristics to balance the contribution of each cost. However, i) they require careful tuning of tailored hyperparameters on a hold-out set, and ii) they imply these costs to be independent, which does not hold in reality. We address these issues by building upon an elegant probabilistic formulation, which considers the cost of a candidate association as the negative log-likelihood yielded by a deep density estimator, trained to model the conditional joint probability distribution of correct associations. Our experiments, conducted on both simulated and real benchmarks, show that our approach consistently enhances the performance of several tracking-by-detection algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google