FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation

要約

LiDAR セグメンテーションは、高度な自動運転システムにおいて重要なコンポーネントとなっています。
最近のレンジビュー LiDAR セグメンテーション アプローチは、リアルタイム処理の可能性を示しています。
ただし、コンテキスト情報の破損が避けられず、予測を改良するための後処理技術に大きく依存します。
この研究では、対応する錐台 LiDAR ポイントを使用して距離画像ピクセルのコンテキスト情報を復元することを目的とした、シンプルかつ強力な方法である FRNet を提案します。
まず、錐台特徴エンコーダ モジュールを使用して錐台領域内のポイントごとの特徴を抽出します。これはシーンの一貫性を維持し、ポイントレベルの予測に重要です。
次に、錐台-点融合モジュールが導入されて、ポイントごとの特徴が階層的に更新され、各点が錐台特徴を介してより多くの周囲情報を抽出できるようになります。
最後に、ヘッド融合モジュールを使用して、最終的な意味予測のためにさまざまなレベルで特徴を融合します。
さまざまなタスク設定の下で 4 つの一般的な LiDAR セグメンテーション ベンチマークで行われた広範な実験により、FRNet の優位性が実証されました。
特に、FRNet は SemanticKITTI と nuScenes のテスト セットで 73.3% と 82.5% の mIoU スコアを達成しています。
FRNet は、競争力のあるパフォーマンスを達成しながら、最先端のアプローチよりも 5 倍高速に動作します。
このような高い効率により、よりスケーラブルな LiDAR セグメンテーションの新たな可能性が開かれます。
コードは https://github.com/Xiangxu-0103/FRNet で公開されています。

要約(オリジナル)

LiDAR segmentation has become a crucial component in advanced autonomous driving systems. Recent range-view LiDAR segmentation approaches show promise for real-time processing. However, they inevitably suffer from corrupted contextual information and rely heavily on post-processing techniques for prediction refinement. In this work, we propose FRNet, a simple yet powerful method aimed at restoring the contextual information of range image pixels using corresponding frustum LiDAR points. Firstly, a frustum feature encoder module is used to extract per-point features within the frustum region, which preserves scene consistency and is crucial for point-level predictions. Next, a frustum-point fusion module is introduced to update per-point features hierarchically, enabling each point to extract more surrounding information via the frustum features. Finally, a head fusion module is used to fuse features at different levels for final semantic prediction. Extensive experiments conducted on four popular LiDAR segmentation benchmarks under various task setups demonstrate the superiority of FRNet. Notably, FRNet achieves 73.3% and 82.5% mIoU scores on the testing sets of SemanticKITTI and nuScenes. While achieving competitive performance, FRNet operates 5 times faster than state-of-the-art approaches. Such high efficiency opens up new possibilities for more scalable LiDAR segmentation. The code has been made publicly available at https://github.com/Xiangxu-0103/FRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google