OccProphet: Pushing Efficiency Frontier of Camera-Only 4D Occupancy Forecasting with Observer-Forecaster-Refiner Framework

要約

複雑な交通環境の変動を予測することは、自律運転の安全性に不可欠です。
占有予測における最近の進歩により、歴史的な2D画像を観察することにより、運転環境での将来の3D占有ステータスを予測できました。
ただし、高い計算需要により、トレーニングや推論の段階での占有予測が低下し、エッジエージェントでの展開の実現可能性が妨げられます。
このホワイトペーパーでは、予測の精度を改善しながら、大幅に低い計算要件で占有予測を効率的かつ効果的に学習するために、新しいフレームワーク、つまりオクプラフェットを提案します。
Occprophetは、オブザーバー、予測、精製者の3つの軽量コンポーネントで構成されています。
オブザーバーは、3Dマルチフレームボクセルから、3Dマルチフレームボクセルから3倍の4D凝集を使用して3時型ボクセルから抽出し、予測と精製所は将来の占有率の推論を条件付きで予測および改良します。
ヌスセン、Lyft-Level5、およびヌスセン摂取データセットの実験結果は、オクプラペットがトレーニングと推論に優しいものであることを示しています。
Occprophetは、最先端のCAM4DOCCと比較して、2.6 $ \ Times $ SpeedUpで58 \％$ \ SIM $ 78 \％を2.6 $ \ Times $ speedUpを削減します。
さらに、4 \％$ \ sim $ 18 \％比較的高い予測精度を達成します。
コードとモデルは、https://github.com/jlchen-c/occprophetで公開されています。

要約(オリジナル)

Predicting variations in complex traffic environments is crucial for the safety of autonomous driving. Recent advancements in occupancy forecasting have enabled forecasting future 3D occupied status in driving environments by observing historical 2D images. However, high computational demands make occupancy forecasting less efficient during training and inference stages, hindering its feasibility for deployment on edge agents. In this paper, we propose a novel framework, i.e., OccProphet, to efficiently and effectively learn occupancy forecasting with significantly lower computational requirements while improving forecasting accuracy. OccProphet comprises three lightweight components: Observer, Forecaster, and Refiner. The Observer extracts spatio-temporal features from 3D multi-frame voxels using the proposed Efficient 4D Aggregation with Tripling-Attention Fusion, while the Forecaster and Refiner conditionally predict and refine future occupancy inferences. Experimental results on nuScenes, Lyft-Level5, and nuScenes-Occupancy datasets demonstrate that OccProphet is both training- and inference-friendly. OccProphet reduces 58\%$\sim$78\% of the computational cost with a 2.6$\times$ speedup compared with the state-of-the-art Cam4DOcc. Moreover, it achieves 4\%$\sim$18\% relatively higher forecasting accuracy. Code and models are publicly available at https://github.com/JLChen-C/OccProphet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google