Exploiting the Complementarity of 2D and 3D Networks to Address Domain-Shift in 3D Semantic Segmentation

要約

タイトル: 2Dと3Dネットワークの相補性を利用して、3Dセマンティック・セグメンテーションのドメインシフトに対処する。

要約:
– 3Dセマンティック・セグメンテーションは、自動運転、ロボティクス、ミックスリアリティなどの多くの現実世界のアプリケーションで重要なタスクである。
– 3Dポイント・クラウドの非構造的、希薄的、非着色的な性質から来る曖昧さにより、このタスクは非常に困難である。
– RGBカメラなど、異なるモダリティを持つセンサーからの情報を3D情報と組み合わせることで、可能な解決策がある。
– 最近の多モーダル3Dセマンティック・セグメンテーション・ネットワークは、2つの分岐に依存して2Dと3D情報を個別に処理し、それぞれのモダリティの強みを維持することを目指している。
– この研究では、まずこの設計選択がどのように効果的であるかを説明し、そしてそれを改良して、多モーダルセマンティックセグメンテーションがドメインシフトによりより強力になるように示します。
– この簡単な貢献により、4つの人気のある多モーダル非監視ドメイン適応ベンチマークの最新のパフォーマンスを達成し、ドメイン汎化シナリオでもより良い結果を得ることができます。

要約(オリジナル)

3D semantic segmentation is a critical task in many real-world applications, such as autonomous driving, robotics, and mixed reality. However, the task is extremely challenging due to ambiguities coming from the unstructured, sparse, and uncolored nature of the 3D point clouds. A possible solution is to combine the 3D information with others coming from sensors featuring a different modality, such as RGB cameras. Recent multi-modal 3D semantic segmentation networks exploit these modalities relying on two branches that process the 2D and 3D information independently, striving to maintain the strength of each modality. In this work, we first explain why this design choice is effective and then show how it can be improved to make the multi-modal semantic segmentation more robust to domain shift. Our surprisingly simple contribution achieves state-of-the-art performances on four popular multi-modal unsupervised domain adaptation benchmarks, as well as better results in a domain generalization scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI