Sparse Fuse Dense: Towards High Quality 3D Detection with Depth Completion

要約

現在のLiDARのみを用いた3次元検出手法は、どうしても点群の疎密性に悩まされる。この問題を軽減するために、多くのマルチモーダル手法が提案されているが、画像と点群の表現が異なるため、融合が難しく、最適な性能が得られない。本論文では、上記の問題に取り組むために、深度補完から生成される擬似点群を利用した新しいマルチモーダルフレームワークSFD (Sparse Fuse Dense)を提案する。先行研究とは異なり、我々は異なるタイプの点群からの情報を十分に活用するために、新しいRoI融合戦略3D-GAF (3D Grid-wise Attentive Fusion)を提案する。具体的には、3D-GAFは、2つの点群から得られる3次元RoI特徴をグリッドワイズアテンティブに融合し、よりきめ細かく、より高精度に表現します。さらに、マルチモーダルフレームワークがLiDARのみの手法に合わせたあらゆるデータ補強アプローチを利用できるように、SynAugment (Synchronized Augmentation) を提案する。最後に、擬似点群のための効果的で効率的な特徴抽出器CPConv (Color Point Convolution) をカスタマイズする。これは、擬似点群の2次元画像特徴と3次元幾何学的特徴を同時に探索することができます。本手法は、KITTIカー3Dオブジェクト検出リーダーボードで最高位を獲得し、本SFDの有効性を実証しています。コードは https://github.com/LittlePey/SFD で公開されています。

要約(オリジナル)

Current LiDAR-only 3D detection methods inevitably suffer from the sparsity of point clouds. Many multi-modal methods are proposed to alleviate this issue, while different representations of images and point clouds make it difficult to fuse them, resulting in suboptimal performance. In this paper, we present a novel multi-modal framework SFD (Sparse Fuse Dense), which utilizes pseudo point clouds generated from depth completion to tackle the issues mentioned above. Different from prior works, we propose a new RoI fusion strategy 3D-GAF (3D Grid-wise Attentive Fusion) to make fuller use of information from different types of point clouds. Specifically, 3D-GAF fuses 3D RoI features from the couple of point clouds in a grid-wise attentive way, which is more fine-grained and more precise. In addition, we propose a SynAugment (Synchronized Augmentation) to enable our multi-modal framework to utilize all data augmentation approaches tailored to LiDAR-only methods. Lastly, we customize an effective and efficient feature extractor CPConv (Color Point Convolution) for pseudo point clouds. It can explore 2D image features and 3D geometric features of pseudo point clouds simultaneously. Our method holds the highest entry on the KITTI car 3D object detection leaderboard, demonstrating the effectiveness of our SFD. Codes are available at https://github.com/LittlePey/SFD.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL