CPGNet: Cascade Point-Grid Fusion Network for Real-Time LiDAR Semantic Segmentation

要約

高度な自律走行に不可欠なLiDARセマンティックセグメンテーションは、高精度、高速、そしてモバイルプラットフォームへの容易な展開が求められています。従来のポイントベースやスパースボクセルベースの手法は、時間のかかる近傍探索やスパース3Dコンボリューションが採用されているため、リアルタイムアプリケーションには程遠いものでした。レンジビューやマルチビューフュージョンを含む最近の2次元投影ベースの手法は、リアルタイムで実行できますが、2次元投影時の情報損失により、精度が低下する問題があります。また、従来の手法では、性能を向上させるために、通常、テストタイム・オーグメンテーション（TTA）を採用しており、これがさらに推論プロセスを遅くしている。より良いスピードと精度のトレードオフを達成するために、我々はカスケード点群融合ネットワーク（CPGNet）を提案し、主に以下の2つの技術によって有効性と効率性の両方を確保する。1) Point-Grid(PG)融合ブロックは、効率化のために主に2D投影格子上の意味的特徴を抽出し、情報損失を最小限にするために3D点上の2Dと3Dの両方の特徴を要約する、2) 提案する変換整合損失は、単一時間モデル推定とTTA間のギャップを縮小する、です。SemanticKITTIとnuScenesベンチマークを用いた実験により、アンサンブルモデルやTTAを用いないCPGNetは、最先端のRPVNetと同等であり、かつ4.7倍高速に動作することが実証された。

要約(オリジナル)

LiDAR semantic segmentation essential for advanced autonomous driving is required to be accurate, fast, and easy-deployed on mobile platforms. Previous point-based or sparse voxel-based methods are far away from real-time applications since time-consuming neighbor searching or sparse 3D convolution are employed. Recent 2D projection-based methods, including range view and multi-view fusion, can run in real time, but suffer from lower accuracy due to information loss during the 2D projection. Besides, to improve the performance, previous methods usually adopt test time augmentation (TTA), which further slows down the inference process. To achieve a better speed-accuracy trade-off, we propose Cascade Point-Grid Fusion Network (CPGNet), which ensures both effectiveness and efficiency mainly by the following two techniques: 1) the novel Point-Grid (PG) fusion block extracts semantic features mainly on the 2D projected grid for efficiency, while summarizes both 2D and 3D features on 3D point for minimal information loss; 2) the proposed transformation consistency loss narrows the gap between the single-time model inference and TTA. The experiments on the SemanticKITTI and nuScenes benchmarks demonstrate that the CPGNet without ensemble models or TTA is comparable with the state-of-the-art RPVNet, while it runs 4.7 times faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL