OccupancyDETR: Making Semantic Scene Completion as Straightforward as Object Detection

要約

視覚ベースの 3D セマンティック占有知覚 (3D セマンティック シーン補完とも呼ばれます) は、自動運転などのロボット アプリケーションのための新しい知覚パラダイムです。
Bird’s Eye View (BEV) 認識と比較して、垂直方向の次元が拡張され、ロボットが周囲を理解する能力が大幅に向上します。
しかし、まさにこの理由により、現在の 3D セマンティック占有認識方法の計算需要は、一般に BEV 認識方法や 2D 認識方法の計算需要を上回っています。
我々は、DETR のような物体検出モジュールと 3D 占有デコーダ モジュールから構成される新しい 3D 意味論的占有認識方法である OccupancyDETR を提案します。
オブジェクト検出の統合により、私たちの方法が構造的に簡素化されます。各ボクセルのセマンティクスを予測する代わりに、シーン内のオブジェクトとそのそれぞれの 3D 占有グリッドが識別されます。
これにより、メソッドが高速化され、必要なリソースが削減され、オブジェクト検出アルゴリズムが活用され、小さなオブジェクトに対するアプローチに顕著なパフォーマンスがもたらされます。
我々は、SemanticKITTI データセットに対する提案手法の有効性を実証し、23 の mIoU と毎秒 6 フレームの処理速度を示し、それによってリアルタイム 3D セマンティック シーン完成のための有望なソリューションを提示します。

要約(オリジナル)

Visual-based 3D semantic occupancy perception (also known as 3D semantic scene completion) is a new perception paradigm for robotic applications like autonomous driving. Compared with Bird’s Eye View (BEV) perception, it extends the vertical dimension, significantly enhancing the ability of robots to understand their surroundings. However, due to this very reason, the computational demand for current 3D semantic occupancy perception methods generally surpasses that of BEV perception methods and 2D perception methods. We propose a novel 3D semantic occupancy perception method, OccupancyDETR, which consists of a DETR-like object detection module and a 3D occupancy decoder module. The integration of object detection simplifies our method structurally – instead of predicting the semantics of each voxels, it identifies objects in the scene and their respective 3D occupancy grids. This speeds up our method, reduces required resources, and leverages object detection algorithm, giving our approach notable performance on small objects. We demonstrate the effectiveness of our proposed method on the SemanticKITTI dataset, showcasing an mIoU of 23 and a processing speed of 6 frames per second, thereby presenting a promising solution for real-time 3D semantic scene completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google