Behind Every Domain There is a Shift: Adapting Distortion-aware Vision Transformers for Panoramic Semantic Segmentation

要約

この論文では、次の 2 つの重要な課題のために十分に研究されていないパノラマ セマンティック セグメンテーションについて取り上げます。(1) パノラマ上の画像の歪みとオブジェクトの変形。
(2) 360{\deg} 画像に意味的な注釈が欠如している。
これらの問題に取り組むために、まず、オブジェクトの変形や画像の歪みをいつでも（適応の前後に）処理できるように、変形可能なパッチ埋め込み（DPE）および変形可能なMLP（DMLPv2）モジュールを備えた、パノラマセマンティックセグメンテーション用のアップグレードされたTransformer、つまりTrans4PASS+を提案します。
そしてどこでも（浅いレベルでも深いレベルでも）。
次に、教師なしドメイン適応パノラマ セグメンテーションの擬似ラベル修正を介して、相互プロトタイプ適応 (MPA) 戦略を強化します。
3 番目に、ピンホールからパノラマ (Pin2Pan) への適応とは別に、9,080 枚のパノラマ画像を含む新しいデータセット (SynPASS) を作成し、360{\deg} 画像での合成から実への (Syn2Real) 適応スキームを容易にします。
屋内と屋外のシナリオをカバーする広範な実験が行われ、それぞれのシナリオが Pin2Pan および Syn2Real レジメンで調査されます。
Trans4PASS+ は、4 つのドメイン適応型パノラマ セマンティック セグメンテーション ベンチマークで最先端のパフォーマンスを実現します。
コードは https://github.com/jamycheung/Trans4PASS で入手できます。

要約(オリジナル)

In this paper, we address panoramic semantic segmentation which is under-explored due to two critical challenges: (1) image distortions and object deformations on panoramas; (2) lack of semantic annotations in the 360{\deg} imagery. To tackle these problems, first, we propose the upgraded Transformer for Panoramic Semantic Segmentation, i.e., Trans4PASS+, equipped with Deformable Patch Embedding (DPE) and Deformable MLP (DMLPv2) modules for handling object deformations and image distortions whenever (before or after adaptation) and wherever (shallow or deep levels). Second, we enhance the Mutual Prototypical Adaptation (MPA) strategy via pseudo-label rectification for unsupervised domain adaptive panoramic segmentation. Third, aside from Pinhole-to-Panoramic (Pin2Pan) adaptation, we create a new dataset (SynPASS) with 9,080 panoramic images, facilitating Synthetic-to-Real (Syn2Real) adaptation scheme in 360{\deg} imagery. Extensive experiments are conducted, which cover indoor and outdoor scenarios, and each of them is investigated with Pin2Pan and Syn2Real regimens. Trans4PASS+ achieves state-of-the-art performances on four domain adaptive panoramic semantic segmentation benchmarks. Code is available at https://github.com/jamycheung/Trans4PASS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google