Robust Collaborative 3D Object Detection in Presence of Pose Errors

要約

協調的3D物体検出は、オクルージョンのようなセンサーの障害がある場合、物体検出の精度を高めるために、複数のエージェント間の情報交換を利用します。しかし、実際には、不完全なローカライズに起因するポーズ推定誤差は、空間的なメッセージのズレを引き起こし、コラボレーションのパフォーマンスを大幅に低下させる。そこで我々は、ポーズエラーによる悪影響を軽減するために、未知のポーズエラーに対してロバストな、新しいハイブリッドコラボレーションフレームワークであるCoAlignを提案する。提案するソリューションは、エージェントとオブジェクトのポーズグラフモデリングに依存し、コラボレーションするエージェント間のポーズの一貫性を強化するものである。さらに、マルチスケールデータフュージョン戦略を採用し、複数の空間解像度の中間的な特徴を集約している。訓練監督に真正なポーズを必要とする先行研究と比較すると、我々の提案するCoAlignは、訓練において真正なポーズ監督を必要とせず、ポーズエラーに関する特定の仮定もないため、より実用的である。提案手法の広範な評価が複数のデータセットで行われ、CoAlignが相対的な位置決め誤差を大幅に削減し、ポーズ誤差が存在する場合に最新の検出性能を達成することが証明されました。コードは、https://github.com/yifanlu0227/CoAlign の研究コミュニティが利用できるように公開されています。

要約(オリジナル)

Collaborative 3D object detection exploits information exchange among multiple agents to enhance accuracy of object detection in presence of sensor impairments such as occlusion. However, in practice, pose estimation errors due to imperfect localization would cause spatial message misalignment and significantly reduce the performance of collaboration. To alleviate adverse impacts of pose errors, we propose CoAlign, a novel hybrid collaboration framework that is robust to unknown pose errors. The proposed solution relies on a novel agent-object pose graph modeling to enhance pose consistency among collaborating agents. Furthermore, we adopt a multi-scale data fusion strategy to aggregate intermediate features at multiple spatial resolutions. Comparing with previous works, which require ground-truth pose for training supervision, our proposed CoAlign is more practical since it doesn’t require any ground-truth pose supervision in the training and makes no specific assumptions on pose errors. Extensive evaluation of the proposed method is carried out on multiple datasets, certifying that CoAlign significantly reduce relative localization error and achieving the state of art detection performance when pose errors exist. Code are made available for the use of the research community at https://github.com/yifanlu0227/CoAlign.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL