MonoDGP: Monocular 3D Object Detection with Decoupled-Query and Geometry-Error Priors

要約

透視投影は、単眼 3D オブジェクト検出方法で広く利用されています。
2D バウンディング ボックスと 3D オブジェクトの寸法から幾何学的事前分布を導入し、深度推定の不確実性を軽減します。
ただし、オブジェクトの視覚的な表面に起因する深さの誤差により、境界ボックスの高さが実際の投影された中心の高さを表現できないことが多く、幾何学的な深さの有効性が損なわれます。
投影された高さを直接予測すると、必然的に 2D 事前分布が失われますが、複雑な分岐を伴うマルチ深度予測では幾何学的深度が完全に活用されません。
この論文では、投影式を変更するために遠近不変幾何誤差を採用する、MonoDGP と呼ばれる Transformer ベースの単眼 3D オブジェクト検出方法を紹介します。
また、マルチ深度予測のシンプルだが効果的な代替手段として機能する、ジオメトリ エラーの背後にあるメカニズムと有効性について体系的に議論し、説明することも試みます。
さらに、MonoDGP は深度ガイド デコーダーを分離し、視覚特徴のみに依存する 2D デコーダーを構築し、3D 検出を妨げることなく 2D 事前分布を提供し、オブジェクト クエリを初期化します。
トランスフォーマー デコーダーの入力トークンをさらに最適化して微調整するために、強化された機能とセグメントの埋め込みを生成するリージョン セグメント ヘッド (RSH) も導入します。
当社の単眼法は、余分なデータを必要とせずに、KITTI ベンチマークで最先端のパフォーマンスを実証します。
コードは https://github.com/PuFanqi23/MonoDGP で入手できます。

要約(オリジナル)

Perspective projection has been extensively utilized in monocular 3D object detection methods. It introduces geometric priors from 2D bounding boxes and 3D object dimensions to reduce the uncertainty of depth estimation. However, due to depth errors originating from the object’s visual surface, the height of the bounding box often fails to represent the actual projected central height, which undermines the effectiveness of geometric depth. Direct prediction for the projected height unavoidably results in a loss of 2D priors, while multi-depth prediction with complex branches does not fully leverage geometric depth. This paper presents a Transformer-based monocular 3D object detection method called MonoDGP, which adopts perspective-invariant geometry errors to modify the projection formula. We also try to systematically discuss and explain the mechanisms and efficacy behind geometry errors, which serve as a simple but effective alternative to multi-depth prediction. Additionally, MonoDGP decouples the depth-guided decoder and constructs a 2D decoder only dependent on visual features, providing 2D priors and initializing object queries without the disturbance of 3D detection. To further optimize and fine-tune input tokens of the transformer decoder, we also introduce a Region Segment Head (RSH) that generates enhanced features and segment embeddings. Our monocular method demonstrates state-of-the-art performance on the KITTI benchmark without extra data. Code is available at https://github.com/PuFanqi23/MonoDGP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google