FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation

要約

LIDARセグメンテーションは、高度な自律運転システムの重要な要素になっています。
最近のレンジビューLIDARセグメンテーションアプローチは、リアルタイム処理の可能性を示しています。
しかし、彼らは必然的に腐敗した文脈情報に苦しみ、予測の洗練のために後処理テクニックに大きく依存しています。
この作業では、対応するフラストムライダーポイントを使用して範囲画像ピクセルのコンテキスト情報を復元することを目的としたシンプルで強力な方法であるFRNETを提案します。
まず、フラストム機能エンコーダーモジュールを使用して、シーンの一貫性を保持し、ポイントレベルの予測に重要なフラストム領域内のポイントごとの特徴を抽出するために使用されます。
次に、フラストムポイント融合モジュールが導入され、ポイントごとの機能が階層的に更新され、各ポイントがフラストム機能を通じてより多くの周囲の情報を抽出できるようにします。
最後に、ヘッドフュージョンモジュールを使用して、最終的なセマンティック予測のためにさまざまなレベルで特徴を融合させます。
さまざまなタスクセットアップの下で4つの人気のあるLidarセグメンテーションベンチマークで実施された広範な実験は、FRNETの優位性を示しています。
特に、FRNETは、SemantickittiおよびNuscenesのテストセットで73.3％および82.5％のMIOUスコアを達成します。
競争力のあるパフォーマンスを達成しながら、FRNETは最先端のアプローチよりも5倍速く運営されています。
このような高効率は、よりスケーラブルなLIDARセグメンテーションのための新しい可能性を開きます。
このコードは、https://github.com/xiangxu-0103/frnetで公開されています。

要約(オリジナル)

LiDAR segmentation has become a crucial component of advanced autonomous driving systems. Recent range-view LiDAR segmentation approaches show promise for real-time processing. However, they inevitably suffer from corrupted contextual information and rely heavily on post-processing techniques for prediction refinement. In this work, we propose FRNet, a simple yet powerful method aimed at restoring the contextual information of range image pixels using corresponding frustum LiDAR points. First, a frustum feature encoder module is used to extract per-point features within the frustum region, which preserves scene consistency and is critical for point-level predictions. Next, a frustum-point fusion module is introduced to update per-point features hierarchically, enabling each point to extract more surrounding information through the frustum features. Finally, a head fusion module is used to fuse features at different levels for final semantic predictions. Extensive experiments conducted on four popular LiDAR segmentation benchmarks under various task setups demonstrate the superiority of FRNet. Notably, FRNet achieves 73.3% and 82.5% mIoU scores on the testing sets of SemanticKITTI and nuScenes. While achieving competitive performance, FRNet operates 5 times faster than state-of-the-art approaches. Such high efficiency opens up new possibilities for more scalable LiDAR segmentation. The code has been made publicly available at https://github.com/Xiangxu-0103/FRNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google