Towards Object Re-Identification from Point Clouds for 3D MOT

要約

この研究では、トリミングされた (予測された 3D 境界ボックスを使用するなど) 点群観測からオブジェクトのペアを照合する方法を学習することで、3D マルチオブジェクト追跡 (MOT) コンテキストにおけるオブジェクト再識別 (ReID) の問題を研究します。
。
ただし、3D MOT の SOTA パフォーマンスには関心がありません。
代わりに、次の質問に答えようとします。検出による現実的な追跡コンテキストでは、点群からのオブジェクト ReID は画像からの ReID と比較してどのように機能しますか?
このような研究を可能にするために、我々は、任意のセットまたはシーケンス処理バックボーン (PointNet や ViT など) に連結できる軽量のマッチング ヘッドを提案し、両方のモダリティに対して同等のオブジェクト ReID ネットワークのファミリーを作成します。
シャム スタイルで実行される、私たちが提案する点群 ReID ネットワークは、リアルタイム (10 Hz) で何千ものペアごとの比較を行うことができます。
私たちの調査結果は、センサーの解像度が高くなるほどパフォーマンスが向上し、観察が十分に高密度である場合には画像 ReID のパフォーマンスに近づくことを示しています。
さらに、3D マルチオブジェクト追跡 (MOT) を強化するネットワークの能力を調査し、点群 ReID ネットワークが強力なモーション ベースのトラッカーをエラーに導いたオブジェクトを正常に再識別できることを示しました。
私たちの知る限り、私たちは 3D マルチオブジェクト追跡コンテキストにおける点群からのリアルタイムのオブジェクト再識別を研究した最初の企業です。

要約(オリジナル)

In this work, we study the problem of object re-identification (ReID) in a 3D multi-object tracking (MOT) context, by learning to match pairs of objects from cropped (e.g., using their predicted 3D bounding boxes) point cloud observations. We are not concerned with SOTA performance for 3D MOT, however. Instead, we seek to answer the following question: In a realistic tracking by-detection context, how does object ReID from point clouds perform relative to ReID from images? To enable such a study, we propose a lightweight matching head that can be concatenated to any set or sequence processing backbone (e.g., PointNet or ViT), creating a family of comparable object ReID networks for both modalities. Run in siamese style, our proposed point-cloud ReID networks can make thousands of pairwise comparisons in real-time (10 hz). Our findings demonstrate that their performance increases with higher sensor resolution and approaches that of image ReID when observations are sufficiently dense. Additionally, we investigate our network’s ability to enhance 3D multi-object tracking (MOT), showing that our point-cloud ReID networks can successfully re-identify objects which led a strong motion-based tracker into error. To our knowledge, we are the first to study real-time object re-identification from point clouds in a 3D multi-object tracking context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google