TrafficLoc: Localizing Traffic Surveillance Cameras in 3D Scenes

要約

私たちは、協力的な知覚において交通監視カメラの位置を特定するという問題に取り組みます。
大規模な現実世界の交差点データセットの不足を克服するために、カーラの 75 の都市部と地方の交差点を含む新しいシミュレートされたデータセットである Carla Intersection を導入します。
さらに、3D 参照マップ内で交通カメラの位置を特定する、新しいニューラル ネットワーク TrafficLoc を導入します。
TrafficLoc は、粗いものから細かいものまでのマッチング パイプラインを採用しています。
画像と点群の特徴の融合については、クロスモーダル視点の不一致に対処するために、新しいジオメトリに基づく注意喪失を提案します。
粗マッチング中に、画像パッチポイント グループ ペア内の局所的な内部特徴間の区別性を維持しながら、正確な位置合わせを達成するための内部対照学習を提案します。
さらに、最終位置を回帰するときに追加の機能を考慮するために、soft-argmax 演算子を使用した Dense Training Alignment を導入します。
広範な実験により、当社の TrafficLoc は、最先端の画像から点群への登録方法に比べて、カーラ交差点での位置特定精度が大幅 (最大 86%) 向上し、実世界のデータによく一般化できることが示されています。
TrafficLoc はまた、KITTI および NuScenes データセット上で新しい SOTA パフォーマンスを実現し、車載カメラと交通カメラの両方にわたる強力なローカリゼーション能力を実証します。
私たちのプロジェクト ページは https://tum-luk.github.io/projects/trafficloc/ で公開されています。

要約(オリジナル)

We tackle the problem of localizing the traffic surveillance cameras in cooperative perception. To overcome the lack of large-scale real-world intersection datasets, we introduce Carla Intersection, a new simulated dataset with 75 urban and rural intersections in Carla. Moreover, we introduce a novel neural network, TrafficLoc, localizing traffic cameras within a 3D reference map. TrafficLoc employs a coarse-to-fine matching pipeline. For image-point cloud feature fusion, we propose a novel Geometry-guided Attention Loss to address cross-modal viewpoint inconsistencies. During coarse matching, we propose an Inter-Intra Contrastive Learning to achieve precise alignment while preserving distinctiveness among local intra-features within image patch-point group pairs. Besides, we introduce Dense Training Alignment with a soft-argmax operator to consider additional features when regressing the final position. Extensive experiments show that our TrafficLoc improves the localization accuracy over the state-of-the-art Image-to-point cloud registration methods by a large margin (up to 86%) on Carla Intersection and generalizes well to real-world data. TrafficLoc also achieves new SOTA performance on KITTI and NuScenes datasets, demonstrating strong localization ability across both in-vehicle and traffic cameras. Our project page is publicly available at https://tum-luk.github.io/projects/trafficloc/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google