FFPA-Net: Efficient Feature Fusion with Projection Awareness for 3D Object Detection

要約

カラー画像のテクスチャ機能と LiDAR 点群の幾何学的情報の間には、有望な補完性が存在します。
ただし、3D オブジェクト検出の分野では、効率的で堅牢な機能融合を実現するための多くの課題が依然として存在します。
このホワイト ペーパーでは、まず、構造化されていない 3D 点群が 2D 平面で埋められ、3D 点群の特徴が射影認識畳み込み層を使用してより高速に抽出されます。
さらに、異なるセンサー信号間の対応するインデックスは、データの前処理で事前に確立されます。これにより、より高速なクロスモーダル機能融合が可能になります。
LiDAR ポイントと画像ピクセルのずれの問題に対処するために、2 つの新しいプラグアンドプレイ フュージョン モジュール LiCamFuse と BiLiCamFuse が提案されています。
LiCamFuse では、バイモーダルな特徴のユークリッド距離を知覚するソフト クエリ ウェイトが提案されています。
BiLiCamFuse では、シーンの幾何学的およびテクスチャーの特徴を深く関連付けるために、二重の注意を払った融合モジュールが提案されています。
KITTI データセットの定量的な結果は、提案された方法がより優れた機能レベルの融合を達成することを示しています。
さらに、提案されたネットワークは、既存の方法と比較して実行時間が短いことを示しています。

要約(オリジナル)

Promising complementarity exists between the texture features of color images and the geometric information of LiDAR point clouds. However, there still present many challenges for efficient and robust feature fusion in the field of 3D object detection. In this paper, first, unstructured 3D point clouds are filled in the 2D plane and 3D point cloud features are extracted faster using projection-aware convolution layers. Further, the corresponding indexes between different sensor signals are established in advance in the data preprocessing, which enables faster cross-modal feature fusion. To address LiDAR points and image pixels misalignment problems, two new plug-and-play fusion modules, LiCamFuse and BiLiCamFuse, are proposed. In LiCamFuse, soft query weights with perceiving the Euclidean distance of bimodal features are proposed. In BiLiCamFuse, the fusion module with dual attention is proposed to deeply correlate the geometric and textural features of the scene. The quantitative results on the KITTI dataset demonstrate that the proposed method achieves better feature-level fusion. In addition, the proposed network shows a shorter running time compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google