GaussianFlowOcc: Sparse and Weakly Supervised Occupancy Estimation using Gaussian Splatting and Temporal Flow

要約

占有率の推定は、3Dコンピュータービジョン、特に自律運転コミュニティ内で顕著な課題となっています。
この論文では、GaussianFlowoccと呼ばれる占有推定への新しいアプローチを紹介します。これは、ガウスのスプラッティングに触発され、従来の濃いボクセルグリッドをまばらな3Dガウス表現に置き換えます。
ガウス変圧器に基づく当社の効率的なモデルアーキテクチャは、主に空の3Dスペースを主に表現する非効率的なボクセルベースの表現で使用される高価な3D畳み込みの必要性を排除することにより、計算およびメモリの要件を大幅に削減します。
Gaussianflowoccは、ネットワークトレーニングプロセス全体で各ガウスの時間的流れを推定することにより、シーンのダイナミクスを効果的にキャプチャし、既存の方法でしばしば無視される複雑な問題に対する簡単な解決策を提供します。
さらに、GaussianFlowoccは、監督が弱く、追加データ（LIDARなど）に基づいて費用のかかる密度の高い3Dボクセル注釈を必要としないため、スケーラビリティのために設計されています。
広範な実験を通じて、Gaussianflowoccは、ヌスセンデータセットのnused延した占有率の推定のための以前のすべての方法を大幅に上回ると同時に、現在のソタの50倍高速な推論速度を特徴とすることを実証します。

要約(オリジナル)

Occupancy estimation has become a prominent task in 3D computer vision, particularly within the autonomous driving community. In this paper, we present a novel approach to occupancy estimation, termed GaussianFlowOcc, which is inspired by Gaussian Splatting and replaces traditional dense voxel grids with a sparse 3D Gaussian representation. Our efficient model architecture based on a Gaussian Transformer significantly reduces computational and memory requirements by eliminating the need for expensive 3D convolutions used with inefficient voxel-based representations that predominantly represent empty 3D spaces. GaussianFlowOcc effectively captures scene dynamics by estimating temporal flow for each Gaussian during the overall network training process, offering a straightforward solution to a complex problem that is often neglected by existing methods. Moreover, GaussianFlowOcc is designed for scalability, as it employs weak supervision and does not require costly dense 3D voxel annotations based on additional data (e.g., LiDAR). Through extensive experimentation, we demonstrate that GaussianFlowOcc significantly outperforms all previous methods for weakly supervised occupancy estimation on the nuScenes dataset while featuring an inference speed that is 50 times faster than current SOTA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google