OLiDM: Object-aware LiDAR Diffusion Models for Autonomous Driving

要約

複雑なシナリオで自動運転の安全性を高めるために、LiDAR 点群データをシミュレートするさまざまな方法が提案されています。
それにもかかわらず、これらの方法は、高品質で多様で制御可能な前景オブジェクトを作成する際に課題に直面することがよくあります。
3D 認識におけるオブジェクト認識タスクのニーズに対処するために、オブジェクト レベルとシーン レベルの両方で高忠実度の LiDAR データを生成できる新しいフレームワークである OLiDM を導入します。
OLiDM は、Object-Scene Progressive Generation (OPG) モジュールと Object Semantic Alignment (OSA) モジュールという 2 つの重要なコンポーネントで構成されています。
OPG は、ユーザー固有のプロンプトに適応して、目的の前景オブジェクトを生成します。これは、その後、シーン生成の条件として使用され、オブジェクト レベルとシーン レベルの両方で制御可能な出力を保証します。
これにより、ユーザー定義のオブジェクトレベルの注釈と、生成された LiDAR シーンとの関連付けも容易になります。
さらに、OSA は、前景オブジェクトと背景シーンの間のずれを修正し、生成されるオブジェクトの全体的な品質を向上させることを目的としています。
OLiDM の広範な有効性は、3D 認識タスクだけでなく、さまざまな LiDAR 生成タスクにわたって実証されています。
具体的には、KITTI-360 データセットでは、OLiDM は、FPD において UltraLiDAR などの従来の最先端の手法を 17.5 上回っています。
さらに、疎から密への LiDAR の完了において、OLiDM は LiDARGen に比べて大幅な改善を達成し、セマンティック IoU が 57.47\% 増加しました。
さらに、OLiDM は、主流の 3D 検出器のパフォーマンスを mAP で 2.4\%、NDS で 1.9\% 向上させ、オブジェクト認識 3D タスクを進歩させる潜在力を強調しています。
コードは https://yanty123.github.io/OLiDM から入手できます。

要約(オリジナル)

To enhance autonomous driving safety in complex scenarios, various methods have been proposed to simulate LiDAR point cloud data. Nevertheless, these methods often face challenges in producing high-quality, diverse, and controllable foreground objects. To address the needs of object-aware tasks in 3D perception, we introduce OLiDM, a novel framework capable of generating high-fidelity LiDAR data at both the object and the scene levels. OLiDM consists of two pivotal components: the Object-Scene Progressive Generation (OPG) module and the Object Semantic Alignment (OSA) module. OPG adapts to user-specific prompts to generate desired foreground objects, which are subsequently employed as conditions in scene generation, ensuring controllable outputs at both the object and scene levels. This also facilitates the association of user-defined object-level annotations with the generated LiDAR scenes. Moreover, OSA aims to rectify the misalignment between foreground objects and background scenes, enhancing the overall quality of the generated objects. The broad effectiveness of OLiDM is demonstrated across various LiDAR generation tasks, as well as in 3D perception tasks. Specifically, on the KITTI-360 dataset, OLiDM surpasses prior state-of-the-art methods such as UltraLiDAR by 17.5 in FPD. Additionally, in sparse-to-dense LiDAR completion, OLiDM achieves a significant improvement over LiDARGen, with a 57.47\% increase in semantic IoU. Moreover, OLiDM enhances the performance of mainstream 3D detectors by 2.4\% in mAP and 1.9\% in NDS, underscoring its potential in advancing object-aware 3D tasks. Code is available at: https://yanty123.github.io/OLiDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google