Inverse++: Vision-Centric 3D Semantic Occupancy Prediction Assisted with 3D Object Detection

要約

3Dセマンティック占有率予測は、オンボードサラウンドビューカメラを使用した自動運転車（AVS）の周辺環境の詳細な幾何学的およびセマンティック情報を予測することを目的としています。
既存の方法は、主に複雑な内部構造モジュール設計に焦点を当て、効率的な機能サンプリングと集約プロセスや中間機能表現形式など、モデルのパフォーマンスを向上させます。
この論文では、追加の3Dオブジェクト検出補助ブランチを組み込むことにより、追加の3D監督信号を導入することにより、マルチタスク学習を探索します。
この余分な3D監督信号は、中間機能の能力を強化してシーン内の小さな動的オブジェクトをキャプチャすることにより、モデルの全体的なパフォーマンスを向上させます。これらの小さな動的オブジェクトには、脆弱な道路ユーザー、すなわち自転車、オートバイ、歩行者が含まれます。
雨の多いシナリオや夜間のシナリオを含むヌスケンデータセットで実施された広範な実験は、私たちのアプローチが最新の結果を達成し、IOUスコアが31.73％とMIOUスコア20.91％を達成し、脆弱な道路利用者（VRU）を検出することに優れていることを示しています。
コードは、https：//github.com/danielming123/inverse++で利用可能になります

要約(オリジナル)

3D semantic occupancy prediction aims to forecast detailed geometric and semantic information of the surrounding environment for autonomous vehicles (AVs) using onboard surround-view cameras. Existing methods primarily focus on intricate inner structure module designs to improve model performance, such as efficient feature sampling and aggregation processes or intermediate feature representation formats. In this paper, we explore multitask learning by introducing an additional 3D supervision signal by incorporating an additional 3D object detection auxiliary branch. This extra 3D supervision signal enhances the model’s overall performance by strengthening the capability of the intermediate features to capture small dynamic objects in the scene, and these small dynamic objects often include vulnerable road users, i.e. bicycles, motorcycles, and pedestrians, whose detection is crucial for ensuring driving safety in autonomous vehicles. Extensive experiments conducted on the nuScenes datasets, including challenging rainy and nighttime scenarios, showcase that our approach attains state-of-the-art results, achieving an IoU score of 31.73% and a mIoU score of 20.91% and excels at detecting vulnerable road users (VRU). The code will be made available at:https://github.com/DanielMing123/Inverse++

arxiv情報

提供元, 利用サービス

arxiv.jp, Google