Monocular 3D Object Detection with Depth from Motion

要約

マルチセンサー設定と比較して経済的であることを考えると、単眼入力から3Dオブジェクトを認識することはロボットシステムにとって非常に重要です。
単一の画像では絶対深度値を予測するための手がかりを提供できないため、特に困難です。
3Dオブジェクト検出のための双眼法に動機付けられて、カメラのエゴモーションによって提供される強力なジオメトリ構造を利用して、正確なオブジェクト深度の推定と検出を行います。
最初に、この一般的な2つのビューのケースについて理論的な分析を行い、2つの課題に気づきます。1）直接予測を困難にする複数の推定からの累積誤差。
2）静的カメラと一致するあいまいさによって引き起こされる固有のジレンマ。
したがって、深さ推定の代替手段として、ジオメトリを意識したコストボリュームとのステレオ対応を確立し、さらに単眼の理解でそれを補正して、2番目の問題に対処します。
次に、Depth from Motion（DfM）という名前のフレームワークは、確立されたジオメトリを使用して2D画像の特徴を3D空間に持ち上げ、その上で3Dオブジェクトを検出します。
また、カメラのポーズが利用できないときに使用できるように、ポーズのないDfMを紹介します。
私たちのフレームワークは、KITTIベンチマークで最先端の方法を大幅に上回っています。
詳細な定量的および定性的分析も、私たちの理論的結論を検証します。
コードはhttps://github.com/Tai-Wang/Depth-from-Motionでリリースされます。

要約(オリジナル)

Perceiving 3D objects from monocular inputs is crucial for robotic systems, given its economy compared to multi-sensor settings. It is notably difficult as a single image can not provide any clues for predicting absolute depth values. Motivated by binocular methods for 3D object detection, we take advantage of the strong geometry structure provided by camera ego-motion for accurate object depth estimation and detection. We first make a theoretical analysis on this general two-view case and notice two challenges: 1) Cumulative errors from multiple estimations that make the direct prediction intractable; 2) Inherent dilemmas caused by static cameras and matching ambiguity. Accordingly, we establish the stereo correspondence with a geometry-aware cost volume as the alternative for depth estimation and further compensate it with monocular understanding to address the second problem. Our framework, named Depth from Motion (DfM), then uses the established geometry to lift 2D image features to the 3D space and detects 3D objects thereon. We also present a pose-free DfM to make it usable when the camera pose is unavailable. Our framework outperforms state-of-the-art methods by a large margin on the KITTI benchmark. Detailed quantitative and qualitative analyses also validate our theoretical conclusions. The code will be released at https://github.com/Tai-Wang/Depth-from-Motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google