VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection

要約

推論中に単一のカメラのみに依存する単眼 3D 物体検出は、費用対効果が高く、広く利用できるため、自動運転やロボット工学を含むさまざまなアプリケーションにわたって非常に重要です。
それにもかかわらず、単眼画像から 3D 空間内のオブジェクトの座標を直接予測することには課題が伴います。
したがって、効果的な解決策には、単眼画像を LiDAR のような表現に変換し、LiDAR ベースの 3D オブジェクト検出器を使用してオブジェクトの 3D 座標を予測することが含まれます。
この方法の重要なステップは、単眼画像を信頼性の高い点群形式に正確に変換することです。
このペーパーでは、Vision Foundation Models (VFM) の機能を活用して単一ビュー画像を LiDAR 点群表現に正確に変換する革新的なフレームワークである VFMM3D について紹介します。
VFMM3D は、セグメント何でもモデル (SAM) と深さ何でもモデル (DAM) を利用して、豊富な前景情報で強化された高品質の疑似 LiDAR データを生成します。
具体的には、Depth Anything Model (DAM) を使用して、高密度の深度マップを生成します。
その後、セグメント エニシング モデル (SAM) を利用して、インスタンス マスクを予測して前景領域と背景領域を区別します。
これらの予測されたインスタンス マスクと深度マップは結合されて 3D 空間に投影され、擬似 LiDAR ポイントが生成されます。
最後に、点群に基づく任意のオブジェクト検出器を利用して、オブジェクトの 3D 座標を予測できます。
包括的な実験は、KITTI と Waymo という 2 つの困難な 3D 物体検出データセットに対して行われます。
当社の VFMM3D は、両方のデータセットで新しい最先端のパフォーマンスを確立します。
さらに、実験結果は VFMM3D の汎用性を実証し、さまざまな LiDAR ベースの 3D 物体検出器へのシームレスな統合を示しています。

要約(オリジナル)

Due to its cost-effectiveness and widespread availability, monocular 3D object detection, which relies solely on a single camera during inference, holds significant importance across various applications, including autonomous driving and robotics. Nevertheless, directly predicting the coordinates of objects in 3D space from monocular images poses challenges. Therefore, an effective solution involves transforming monocular images into LiDAR-like representations and employing a LiDAR-based 3D object detector to predict the 3D coordinates of objects. The key step in this method is accurately converting the monocular image into a reliable point cloud form. In this paper, we present VFMM3D, an innovative framework that leverages the capabilities of Vision Foundation Models (VFMs) to accurately transform single-view images into LiDAR point cloud representations. VFMM3D utilizes the Segment Anything Model (SAM) and Depth Anything Model (DAM) to generate high-quality pseudo-LiDAR data enriched with rich foreground information. Specifically, the Depth Anything Model (DAM) is employed to generate dense depth maps. Subsequently, the Segment Anything Model (SAM) is utilized to differentiate foreground and background regions by predicting instance masks. These predicted instance masks and depth maps are then combined and projected into 3D space to generate pseudo-LiDAR points. Finally, any object detectors based on point clouds can be utilized to predict the 3D coordinates of objects. Comprehensive experiments are conducted on two challenging 3D object detection datasets, KITTI and Waymo. Our VFMM3D establishes a new state-of-the-art performance on both datasets. Additionally, experimental results demonstrate the generality of VFMM3D, showcasing its seamless integration into various LiDAR-based 3D object detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google