Boosting 3D Object Detection via Object-Focused Image Fusion

要約

3Dオブジェクト検出は、点群を唯一の入力として使用することにより、目覚ましい進歩を遂げました。
ただし、点群は、不完全な幾何学的構造とセマンティック情報の欠如に悩まされることが多く、検出器が検出されたオブジェクトを正確に分類することを困難にします。
この作業では、画像からのオブジェクトレベルの情報を効果的に利用して、ポイントベースの3D検出器のパフォーマンスを向上させる方法に焦点を当てます。
画像情報をポイントフィーチャに融合するためのシンプルで効果的な方法であるDeMFを紹介します。
一連のポイント特徴と画像特徴マップが与えられると、DeMFは、3Dポイントの投影された2D位置を参照として取得することにより、画像特徴を適応的に集約します。
挑戦的なSUNRGB-Dデータセットでメソッドを評価し、最先端の結果を大幅に改善します（+2.1 mAP@0.25および+2.3mAP@ 0.5）。
コードはhttps://github.com/haoy945/DeMFで入手できます。

要約(オリジナル)

3D object detection has achieved remarkable progress by taking point clouds as the only input. However, point clouds often suffer from incomplete geometric structures and the lack of semantic information, which makes detectors hard to accurately classify detected objects. In this work, we focus on how to effectively utilize object-level information from images to boost the performance of point-based 3D detector. We present DeMF, a simple yet effective method to fuse image information into point features. Given a set of point features and image feature maps, DeMF adaptively aggregates image features by taking the projected 2D location of the 3D point as reference. We evaluate our method on the challenging SUN RGB-D dataset, improving state-of-the-art results by a large margin (+2.1 mAP@0.25 and +2.3mAP@0.5). Code is available at https://github.com/haoy945/DeMF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google