GPS-GLASS: Learning Nighttime Semantic Segmentation Using Daytime Video and GPS data

要約

自動運転のセマンティック セグメンテーションは、さまざまな野生環境に対して堅牢である必要があります。
夜間のセマンティック セグメンテーションは、注釈付きの夜間の画像が不足しており、十分な注釈が付けられた昼間の画像とのドメイン ギャップが大きいため、特に困難です。
この論文では、夜間のセマンティック セグメンテーションのための新しい GPS ベースのトレーニング フレームワークを提案します。
昼と夜の画像の GPS 位置合わせのペアが与えられた場合、クロスドメイン対応マッチングを実行して、ピクセルレベルの疑似監視を取得します。
さらに、日中のビデオ フレーム間のフロー推定を行い、GPS ベースのスケーリングを適用して、別のピクセル レベルの疑似監視を取得します。
これらの疑似監督と信頼マップを使用して、夜間の画像からの注釈なしで夜間のセマンティック セグメンテーション ネットワークをトレーニングします。
実験結果は、いくつかの夜間のセマンティックセグメンテーションデータセットに対する提案された方法の有効性を示しています。
ソース コードは https://github.com/jimmy9704/GPS-GLASS で入手できます。

要約(オリジナル)

Semantic segmentation for autonomous driving should be robust against various in-the-wild environments. Nighttime semantic segmentation is especially challenging due to a lack of annotated nighttime images and a large domain gap from daytime images with sufficient annotation. In this paper, we propose a novel GPS-based training framework for nighttime semantic segmentation. Given GPS-aligned pairs of daytime and nighttime images, we perform cross-domain correspondence matching to obtain pixel-level pseudo supervision. Moreover, we conduct flow estimation between daytime video frames and apply GPS-based scaling to acquire another pixel-level pseudo supervision. Using these pseudo supervisions with a confidence map, we train a nighttime semantic segmentation network without any annotation from nighttime images. Experimental results demonstrate the effectiveness of the proposed method on several nighttime semantic segmentation datasets. Our source code is available at https://github.com/jimmy9704/GPS-GLASS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google