SVQNet: Sparse Voxel-Adjacent Query Network for 4D Spatio-Temporal LiDAR Semantic Segmentation

要約

LiDAR ベースのセマンティック認識タスクは自動運転にとって重要ですが、課題です。
オブジェクトの動きと静的/動的オクルージョンにより、時間情報は単一フレームの知識を強化し完成させることで知覚を強化する上で重要な役割を果たします。
これまでのアプローチでは、履歴フレームを現在のフレームに直接スタックするか、KNN を使用して 4D 時空間近傍を構築しますが、これにより計算が重複し、リアルタイム パフォーマンスが妨げられます。
すべての履歴ポイントを積み重ねると、大量の冗長で誤解を招く情報によりパフォーマンスが損なわれるという観察に基づいて、4D LiDAR セマンティック セグメンテーション用のスパース ボクセル隣接クエリ ネットワーク (SVQNet) を提案します。
履歴フレームを高効率に最大限に活用するために、現在のポイントを参照して履歴ポイントを 2 つのグループに分流します。
1 つは、局所的な強化知識を伝達する Voxel-Adjacent Neighborhood です。
もう 1 つは、世界的な知識を完成させる歴史的文脈です。
次に、2 つのグループから有益な特徴を選択して抽出するための新しいモジュールを提案します。
当社の SVQNet は、SemanticKITTI ベンチマークと nuScenes データセットの LiDAR セマンティック セグメンテーションで最先端のパフォーマンスを実現します。

要約(オリジナル)

LiDAR-based semantic perception tasks are critical yet challenging for autonomous driving. Due to the motion of objects and static/dynamic occlusion, temporal information plays an essential role in reinforcing perception by enhancing and completing single-frame knowledge. Previous approaches either directly stack historical frames to the current frame or build a 4D spatio-temporal neighborhood using KNN, which duplicates computation and hinders realtime performance. Based on our observation that stacking all the historical points would damage performance due to a large amount of redundant and misleading information, we propose the Sparse Voxel-Adjacent Query Network (SVQNet) for 4D LiDAR semantic segmentation. To take full advantage of the historical frames high-efficiently, we shunt the historical points into two groups with reference to the current points. One is the Voxel-Adjacent Neighborhood carrying local enhancing knowledge. The other is the Historical Context completing the global knowledge. Then we propose new modules to select and extract the instructive features from the two groups. Our SVQNet achieves state-of-the-art performance in LiDAR semantic segmentation of the SemanticKITTI benchmark and the nuScenes dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google