Cross-Modality Domain Adaptation for Freespace Detection: A Simple yet Effective Baseline

要約

自律走行システムの基本機能の一つとして、カメラで撮影された画像の各画素を走行可能か否かに分類することを目的としたフリースペース検出がある。現在のフリースペース検出の研究は、精度とロバスト性のために大量のラベル付き学習データに大きく依存しており、その収集と注釈付けには時間と労力がかかる。我々の知る限り、合成データによるデータ制限の問題を緩和するために、フリースペース検出のための教師なし領域適応を探求した最初の研究である。我々は、RGB画像と奥行き画像から生成された表面法線マップの両方を利用するクロスモダリティ領域適応フレームワークを開発する。また、協調的クロスガイダンス(CCG)モジュールを提案し、一方のモダリティのコンテキスト情報を利用して、他方のモダリティをクロスガイダンスすることにより、モダリティ間のドメイン内補完を実現する。また、入力領域（合成データ）と出力領域（実世界データ）の間の領域ギャップを埋めるために、2つの領域間で一貫した前景領域の特徴のみを整合させる選択的特徴整合（SFA）モジュールを提案し、領域間モダリティ内適合を実現する。3つの異なる合成データセットと1つの実世界データセットをそれぞれ自由空間検出に適応させ、広範な実験を行った。本手法は、完全教師ありのフリースペース検出手法に近い性能(93.08 v.s. 97.50 F1スコア)を示し、他の一般的な教師なし領域適応手法よりも大きなマージンをもって意味分割のための領域適応を上回ったことから、フリースペース検出における領域適応の有望性を示すものである。

要約(オリジナル)

As one of the fundamental functions of autonomous driving system, freespace detection aims at classifying each pixel of the image captured by the camera as drivable or non-drivable. Current works of freespace detection heavily rely on large amount of densely labeled training data for accuracy and robustness, which is time-consuming and laborious to collect and annotate. To the best of our knowledge, we are the first work to explore unsupervised domain adaptation for freespace detection to alleviate the data limitation problem with synthetic data. We develop a cross-modality domain adaptation framework which exploits both RGB images and surface normal maps generated from depth images. A Collaborative Cross Guidance (CCG) module is proposed to leverage the context information of one modality to guide the other modality in a cross manner, thus realizing inter-modality intra-domain complement. To better bridge the domain gap between source domain (synthetic data) and target domain (real-world data), we also propose a Selective Feature Alignment (SFA) module which only aligns the features of consistent foreground area between the two domains, thus realizing inter-domain intra-modality adaptation. Extensive experiments are conducted by adapting three different synthetic datasets to one real-world dataset for freespace detection respectively. Our method performs closely to fully supervised freespace detection methods (93.08 v.s. 97.50 F1 score) and outperforms other general unsupervised domain adaptation methods for semantic segmentation with large margins, which shows the promising potential of domain adaptation for freespace detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL