DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and Photometric Bundle Adjustment

要約

直接法は、ビジュアル オドメトリと SLAM のアプリケーションで優れたパフォーマンスを示しています。
この作業では、3D マルチオブジェクト トラッキングのタスクにその有効性を活用することを提案します。
この目的のために、短期追跡用の直接画像アライメントと 3D オブジェクト検出用のスライディング ウィンドウ測光バンドル調整を効果的に組み合わせたフレームワークである DirectTracker を提案します。
オブジェクトの提案はスパース スライディング ウィンドウ ポイントクラウドに基づいて推定され、3D と 2D の手がかりを慎重に組み合わせて画像とワールド空間の一貫性を確保する最適化ベースのコスト関数を使用してさらに洗練されます。
最近導入された高次トラッキング精度 (HOTA) メトリクスと一般化された交差オーバー ユニオン類似度測定を使用して 3D トラッキングを評価し、ビジョン ベースのトラッカーの評価に従来の交差オーバー ユニオンを使用する際の制限を緩和することを提案します。
Car クラスの KITTI Tracking ベンチマークで評価を行い、2D と 3D の両方でオブジェクトを追跡する際に競争力のあるパフォーマンスを示します。

要約(オリジナル)

Direct methods have shown excellent performance in the applications of visual odometry and SLAM. In this work we propose to leverage their effectiveness for the task of 3D multi-object tracking. To this end, we propose DirectTracker, a framework that effectively combines direct image alignment for the short-term tracking and sliding-window photometric bundle adjustment for 3D object detection. Object proposals are estimated based on the sparse sliding-window pointcloud and further refined using an optimization-based cost function that carefully combines 3D and 2D cues to ensure consistency in image and world space. We propose to evaluate 3D tracking using the recently introduced higher-order tracking accuracy (HOTA) metric and the generalized intersection over union similarity measure to mitigate the limitations of the conventional use of intersection over union for the evaluation of vision-based trackers. We perform evaluation on the KITTI Tracking benchmark for the Car class and show competitive performance in tracking objects both in 2D and 3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google