FastOcc: Accelerating 3D Occupancy Prediction by Fusing the 2D Bird’s-Eye View and Perspective View

要約

自動運転では、3D 占有予測によりボクセルごとのステータスとセマンティック ラベルが出力され、3D オブジェクト検出や鳥瞰図 (BEV) セマンティック セグメンテーションなどの従来の認識タスクと比較して、3D シーンをより包括的に理解できるようになります。
最近の研究者は、優れたパフォーマンスの達成を目指して、ビュー変換技術、グラウンドトゥルースのラベル生成、精緻なネットワーク設計など、このタスクのさまざまな側面を広範囲に調査してきました。
ただし、自動運転車での走行に不可欠な推論速度は無視されています。
この目的のために、FastOcc と呼ばれる新しい方法が提案されています。
入力画像解像度、画像バックボーン、ビュー変換、占有予測ヘッドの 4 つの部分からネットワーク効果とレイテンシを注意深く分析することにより、占有予測ヘッドが精度を維持しながらモデルを高速化するかなりの可能性を秘めていることがわかりました。
このコンポーネントの改善を目的として、時間のかかる 3D 畳み込みネットワークが新しい残差のようなアーキテクチャに置き換えられました。このアーキテクチャでは、特徴は主に軽量の 2D BEV 畳み込みネットワークによって消化され、元の画像特徴から補間された 3D ボクセル特徴を統合することによって補正されます。
Occ3D-nuScenes ベンチマークの実験では、FastOcc が高速な推論速度で最先端の結果を達成することが実証されています。

要約(オリジナル)

In autonomous driving, 3D occupancy prediction outputs voxel-wise status and semantic labels for more comprehensive understandings of 3D scenes compared with traditional perception tasks, such as 3D object detection and bird’s-eye view (BEV) semantic segmentation. Recent researchers have extensively explored various aspects of this task, including view transformation techniques, ground-truth label generation, and elaborate network design, aiming to achieve superior performance. However, the inference speed, crucial for running on an autonomous vehicle, is neglected. To this end, a new method, dubbed FastOcc, is proposed. By carefully analyzing the network effect and latency from four parts, including the input image resolution, image backbone, view transformation, and occupancy prediction head, it is found that the occupancy prediction head holds considerable potential for accelerating the model while keeping its accuracy. Targeted at improving this component, the time-consuming 3D convolution network is replaced with a novel residual-like architecture, where features are mainly digested by a lightweight 2D BEV convolution network and compensated by integrating the 3D voxel features interpolated from the original image features. Experiments on the Occ3D-nuScenes benchmark demonstrate that our FastOcc achieves state-of-the-art results with a fast inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google