Event-aided Semantic Scene Completion

要約

自律走行システムは、ロバストな3Dシーン理解に依存している。自律走行のためのセマンティックシーンコンプリート（SSC）における最近の進歩は、モーションブラー、劣悪な照明、悪天候の下で苦戦するRGBベースのアプローチの限界を浮き彫りにしています。高ダイナミックレンジと低遅延を提供するイベントカメラは、RGB入力を補完する非同期データを提供することで、これらの課題に対処します。DSEC-SSCは、イベント支援型SSCのために特別に設計された初の実世界ベンチマークであり、オブジェクトの動きに動的に適応する高密度で視認性を考慮したラベルを生成するための新しい4Dラベリングパイプラインを含む。我々の提案するRGB-EventフュージョンフレームワークEvSSCは、Event-aided Lifting Module (ELM)を導入し、2DのRGB-Event特徴を3D空間へ効果的に橋渡しし、SSCモデル間のビュー変換と3Dボリューム構築のロバスト性を強化する。DSEC-SSCと模擬SemanticKITTI-Eを用いた広範な実験により、EvSSCがトランスフォーマベースとLSSベースの両方のSSCアーキテクチャに適応可能であることが実証された。特に、SemanticKITTI-Cでの評価では、EvSSCが5つの劣化モードとIn-domainとOut-of-domainの両方の設定で一貫して予測精度を向上させ、イメージセンサが部分的に故障した場合にmIoUで最大52.5%の相対的な改善を達成することが実証されました。さらに、自律走行が困難なモーションブラーや極端な気象条件下でのEvSSCの優位性を定量的・定性的に検証した。確立されたデータセットとコードベースは、https://github.com/Pandapan01/EvSSC。

要約(オリジナル)

Autonomous driving systems rely on robust 3D scene understanding. Recent advances in Semantic Scene Completion (SSC) for autonomous driving underscore the limitations of RGB-based approaches, which struggle under motion blur, poor lighting, and adverse weather. Event cameras, offering high dynamic range and low latency, address these challenges by providing asynchronous data that complements RGB inputs. We present DSEC-SSC, the first real-world benchmark specifically designed for event-aided SSC, which includes a novel 4D labeling pipeline for generating dense, visibility-aware labels that adapt dynamically to object motion. Our proposed RGB-Event fusion framework, EvSSC, introduces an Event-aided Lifting Module (ELM) that effectively bridges 2D RGB-Event features to 3D space, enhancing view transformation and the robustness of 3D volume construction across SSC models. Extensive experiments on DSEC-SSC and simulated SemanticKITTI-E demonstrate that EvSSC is adaptable to both transformer-based and LSS-based SSC architectures. Notably, evaluations on SemanticKITTI-C demonstrate that EvSSC achieves consistently improved prediction accuracy across five degradation modes and both In-domain and Out-of-domain settings, achieving up to a 52.5% relative improvement in mIoU when the image sensor partially fails. Additionally, we quantitatively and qualitatively validate the superiority of EvSSC under motion blur and extreme weather conditions, where autonomous driving is challenged. The established datasets and our codebase will be made publicly at https://github.com/Pandapan01/EvSSC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL