Semantic Segmentation under Adverse Conditions: A Weather and Nighttime-aware Synthetic Data-based Approach

要約

最近のセマンティック セグメンテーション モデルは、標準的な気象条件と十分な照明の下ではうまく機能しますが、悪天候や夜間には苦労します。
このような条件下でトレーニング データを収集して注釈を付けることは、費用がかかり、時間がかかり、エラーが発生しやすく、常に実用的とは限りません。
通常、合成データは、トレーニング データの量を増やすための実行可能なデータ ソースとして使用されます。
ただし、合成データを直接使用するだけでは、通常の気象条件下ではモデルのパフォーマンスが実際に損なわれる可能性がありますが、逆の状況ではわずかな向上しか得られません。
したがって、ドメイン適応のために合成トレーニングデータを使用するために特別に設計された新しいアーキテクチャを提示します。
マルチタスク学習で訓練された天候と時刻のスーパーバイザーを使用して、DeepLabV3+ にシンプルかつ強力な追加を提案し、天候と夜間の両方を認識し、ACDC データセットで mIoU の精度を $14$ パーセンテージ ポイント向上させます。
Cityscapes データセットで $75\%$ mIoU のスコアを維持しながら。
コードは https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions で入手できます。

要約(オリジナル)

Recent semantic segmentation models perform well under standard weather conditions and sufficient illumination but struggle with adverse weather conditions and nighttime. Collecting and annotating training data under these conditions is expensive, time-consuming, error-prone, and not always practical. Usually, synthetic data is used as a feasible data source to increase the amount of training data. However, just directly using synthetic data may actually harm the model’s performance under normal weather conditions while getting only small gains in adverse situations. Therefore, we present a novel architecture specifically designed for using synthetic training data for domain adaptation. We propose a simple yet powerful addition to DeepLabV3+ by using weather and time-of-the-day supervisors trained with multi-task learning, making it both weather and nighttime aware, which improves its mIoU accuracy by $14$ percentage points on the ACDC dataset while maintaining a score of $75\%$ mIoU on the Cityscapes dataset. Our code is available at https://github.com/lsmcolab/Semantic-Segmentation-under-Adverse-Conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google