Instance-Warp: Saliency Guided Image Warping for Unsupervised Domain Adaptation

要約

夜間、雨、雪などの条件下での運転は難しい。良いラベル付きデータセットがないことが、このような状況下でのシーン理解の進歩を妨げている。このような場合、大規模なラベル付き晴天データセットを用いた教師なし領域適応（UDA）は有望な研究方向である。しかし、多くのUDA手法は、ドメイン間で劇的に異なって見える支配的なシーン背景（例えば、道路、空、歩道）で学習される。その結果、より小さく、しばしば疎な前景物体（例えば、人物、車両、標識）の効果的な特徴を学習するのに苦労している。 本研究では、顕著なオブジェクトに焦点を当てるために、その場での画像ワーピングを適用することで、UDA学習を改善する。インスタンスレベルの顕著性ガイダンスを設計し、適応的に物体領域をオーバーサンプリングし、背景領域をアンダーサンプリングすることで、背景コンテキストによる悪影響を低減し、バックボーン特徴学習を強化する。また、タスク（セグメンテーション、検出）、領域適応アルゴリズム、顕著性ガイダンス、基礎となるモデルアーキテクチャに依存しない。結果のハイライトは、BDD100K Clearの$DENSE Foggyで+6.1 mAP50、BDD100K Dayの$Nightで+3.7 mAP50、BDD100K Clearの$Rainyで+3.0 mAP50、Cityscapesの$ACDCで+6.3 mIoUである。その上、我々の手法は最小限の学習メモリしか追加せず、推論レイテンシも追加しない。コードはhttps://github.com/ShenZheng2000/Instance-Warp。

要約(オリジナル)

Driving is challenging in conditions like night, rain, and snow. Lack of good labeled datasets has hampered progress in scene understanding under such conditions. Unsupervised Domain Adaptation (UDA) using large labeled clear-day datasets is a promising research direction in such cases. However, many UDA methods are trained with dominant scene backgrounds (e.g., roads, sky, sidewalks) that appear dramatically different across domains. As a result, they struggle to learn effective features of smaller and often sparse foreground objects (e.g., people, vehicles, signs). In this work, we improve UDA training by applying in-place image warping to focus on salient objects. We design instance-level saliency guidance to adaptively oversample object regions and undersample background areas, which reduces adverse effects from background context and enhances backbone feature learning. Our approach improves adaptation across geographies, lighting, and weather conditions, and is agnostic to the task (segmentation, detection), domain adaptation algorithm, saliency guidance, and underlying model architecture. Result highlights include +6.1 mAP50 for BDD100K Clear $\rightarrow$ DENSE Foggy, +3.7 mAP50 for BDD100K Day $\rightarrow$ Night, +3.0 mAP50 for BDD100K Clear $\rightarrow$ Rainy, and +6.3 mIoU for Cityscapes $\rightarrow$ ACDC. Besides, Our method adds minimal training memory and no additional inference latency. Code is available at https://github.com/ShenZheng2000/Instance-Warp

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL