Fully Sparse 3D Panoptic Occupancy Prediction

要約

乗員予測は自動運転の分野で極めて重要な役割を果たします。
従来の方法では通常、シーンの固有の疎性を無視して高密度の 3D ボリュームを構築するため、計算コストが高くなります。
さらに、これらの方法は意味上の占有に限定されており、個別のインスタンスを区別できません。
スパース性の特性を利用してインスタンス認識を確実にするために、SparseOcc と呼ばれる新しい完全にスパースなパノプティック占有ネットワークを導入します。
SparseOcc は、最初に視覚入力からスパース 3D 表現を再構築します。
その後、スパース インスタンス クエリを使用して、スパース 3D 表現から各オブジェクト インスタンスを予測します。
これらのインスタンス クエリは、マスクに基づく疎なサンプリングを介して 2D フィーチャと対話するため、コストのかかる高密度フィーチャやグローバルな注目の必要性が回避されます。
さらに、当社は史上初の視覚中心のパノプティック占有率ベンチマークを確立しました。
SparseOcc は、25.4 FPS のリアルタイム推論速度を維持しながら、26.0 の平均交差オーバーユニオン (mIoU) を達成することで、Occ3D-nus データセットでの有効性を実証します。
前の 8 フレームからの時間モデリングを組み込むことにより、SparseOcc はパフォーマンスをさらに向上させ、ホイッスルやベルなしで 30.9 mIoU を達成します。
コードが利用可能になります。

要約(オリジナル)

Occupancy prediction plays a pivotal role in the realm of autonomous driving. Previous methods typically constructs a dense 3D volume, neglecting the inherent sparsity of the scene, which results in a high computational cost. Furthermore, these methods are limited to semantic occupancy and fail to differentiate between distinct instances. To exploit the sparsity property and ensure instance-awareness, we introduce a novel fully sparse panoptic occupancy network, termed SparseOcc. SparseOcc initially reconstructs a sparse 3D representation from visual inputs. Subsequently, it employs sparse instance queries to predict each object instance from the sparse 3D representation. These instance queries interact with 2D features via mask-guided sparse sampling, thereby circumventing the need for costly dense features or global attention. Additionally, we have established the first-ever vision-centric panoptic occupancy benchmark. SparseOcc demonstrates its efficacy on the Occ3D-nus dataset by achieving a mean Intersection over Union (mIoU) of 26.0, while maintaining a real-time inference speed of 25.4 FPS. By incorporating temporal modeling from the preceding 8 frames, SparseOcc further improves its performance, achieving 30.9 mIoU without whistles and bells. Code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google