Monocular 3D Object Detection with Depth from Motion

要約

単眼入力から 3D オブジェクトを知覚することは、マルチセンサー設定と比較して経済的であることを考えると、ロボット システムにとって非常に重要です。
単一の画像では絶対深度値を予測するための手がかりを提供できないため、特に困難です。
3Dオブジェクト検出のための両眼法に動機付けられた私たちは、カメラのエゴモーションによって提供される強力なジオメトリ構造を利用して、正確なオブジェクトの深さの推定と検出を行います。
まず、この一般的な 2 ビューのケースについて理論的な分析を行い、2 つの課題に気付きます。
2) 静的なカメラとマッチングのあいまいさによって引き起こされる固有のジレンマ。
したがって、深度推定の代替手段としてジオメトリを意識したコストボリュームとのステレオ対応を確立し、2番目の問題に対処するために単眼理解でそれをさらに補償します。
Depth from Motion (DfM) という名前のフレームワークは、確立されたジオメトリを使用して 2D 画像の特徴を 3D 空間に持ち上げ、その上の 3D オブジェクトを検出します。
また、カメラのポーズが使用できない場合に使用できるように、ポーズのない DfM も提示します。
私たちのフレームワークは、KITTI ベンチマークで最先端の方法を大幅に上回っています。
詳細な定量的および定性的分析も、理論的結論を検証します。
コードは https://github.com/Tai-Wang/Depth-from-Motion で公開されます。

要約(オリジナル)

Perceiving 3D objects from monocular inputs is crucial for robotic systems, given its economy compared to multi-sensor settings. It is notably difficult as a single image can not provide any clues for predicting absolute depth values. Motivated by binocular methods for 3D object detection, we take advantage of the strong geometry structure provided by camera ego-motion for accurate object depth estimation and detection. We first make a theoretical analysis on this general two-view case and notice two challenges: 1) Cumulative errors from multiple estimations that make the direct prediction intractable; 2) Inherent dilemmas caused by static cameras and matching ambiguity. Accordingly, we establish the stereo correspondence with a geometry-aware cost volume as the alternative for depth estimation and further compensate it with monocular understanding to address the second problem. Our framework, named Depth from Motion (DfM), then uses the established geometry to lift 2D image features to the 3D space and detects 3D objects thereon. We also present a pose-free DfM to make it usable when the camera pose is unavailable. Our framework outperforms state-of-the-art methods by a large margin on the KITTI benchmark. Detailed quantitative and qualitative analyses also validate our theoretical conclusions. The code will be released at https://github.com/Tai-Wang/Depth-from-Motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google