seg_3D_by_PC2D: Multi-View Projection for Domain Generalization and Adaptation in 3D Semantic Segmentation

要約

3Dセマンティックセグメンテーションは、自律運転および道路インフラストラクチャ分析において極めて重要な役割を果たしますが、最先端の3Dモデルは、異なるデータセットに展開された場合、深刻なドメインシフトになりやすいです。
ドメイン一般化（DG）と監視なしドメイン適応（UDA）の両方に優れた新しいマルチビュープロジェクションフレームワークを提案します。
私たちのアプローチは、最初にLIDARスキャンをコヒーレントな3Dシーンに並べ、複数の仮想カメラポーズからそれらをレンダリングして、大規模な合成2Dデータセット（PC2D）を作成します。
次に、ドメイン内で2Dセグメンテーションモデルをトレーニングするために使用します。
推論中、モデルはシーンごとに数百のビューを処理します。
結果のロジットは、最終的なポイントワイズラベルを生成するために、閉塞を意識した投票スキームで3Dに戻されます。
私たちのフレームワークはモジュール式であり、ビュー生成最適化（VGO）、視覚化モダリティ最適化（MODO）、2Dモデルの選択などの主要な設計パラメーターを広範囲に調査できます。
DG設定とUDA設定の両方の下で、NuscenesとSemantickittiデータセットで評価します。
UDAで最先端の結果を達成し、DGの最先端に近い結果を達成し、特に大規模な静的クラスで大きな利益を得ています。
コードとデータセットの生成ツールは、https://github.com/andrewcaunes/ia4markingsで公開されます

要約(オリジナル)

3D semantic segmentation plays a pivotal role in autonomous driving and road infrastructure analysis, yet state-of-the-art 3D models are prone to severe domain shift when deployed across different datasets. We propose a novel multi-view projection framework that excels in both domain generalization (DG) and unsupervised domain adaptation (UDA). Our approach first aligns Lidar scans into coherent 3D scenes and renders them from multiple virtual camera poses to create a large-scale synthetic 2D dataset (PC2D). We then use it to train a 2D segmentation model in-domain. During inference, the model processes hundreds of views per scene; the resulting logits are back-projected to 3D with an occlusion-aware voting scheme to generate final point-wise labels. Our framework is modular and enables extensive exploration of key design parameters, such as view generation optimization (VGO), visualization modality optimization (MODO), and 2D model choice. We evaluate on the nuScenes and SemanticKITTI datasets under both the DG and UDA settings. We achieve state-of-the-art results in UDA and close to state-of-the-art in DG, with particularly large gains on large, static classes. Our code and dataset generation tools will be publicly available at https://github.com/andrewcaunes/ia4markings

arxiv情報

提供元, 利用サービス

arxiv.jp, Google