Hierarchical Instance Mixing across Domains in Aerial Segmentation

要約

空中セマンティック セグメンテーションにおける教師なしドメイン適応のタスクを調査し、ドメイン ミキシングに基づく自動運転用に設計された現在の最先端アルゴリズムが空中設定にうまく変換されないことを発見しました。
これは次の 2 つの要因によるものです。(i) セマンティック カテゴリの拡張に大きな不一致があり、それが混合画像のドメインの不均衡を引き起こしていること、および (ii) 同じシーンであるため、運転中のシーンよりも空撮シーンの方が構造の一貫性が弱いこと。
さまざまな視点から見られる可能性があり、画像内のセマンティック要素の明確に定義された反復可能な構造はありません。
これらの問題に対する私たちのソリューションは、(i) Hierarchical Instance Mixing (HIMix) と呼ばれるドメイン間の空中セグメンテーションのための新しいミキシング戦略で構成されています。これは、各セマンティック マスクから一連の接続されたコンポーネントを抽出し、セマンティック階層に従ってそれらを混合します。
(ii) ツインヘッド アーキテクチャでは、2 つの別個のセグメンテーション ヘッドに同じ画像のバリエーションが対照的な方法で供給され、より細かいセグメンテーション マップが生成されます。
私たちはLoveDAベンチマークで広範な実験を行っており、私たちのソリューションは現在の最先端技術を凌駕しています。

要約(オリジナル)

We investigate the task of unsupervised domain adaptation in aerial semantic segmentation and discover that the current state-of-the-art algorithms designed for autonomous driving based on domain mixing do not translate well to the aerial setting. This is due to two factors: (i) a large disparity in the extension of the semantic categories, which causes a domain imbalance in the mixed image, and (ii) a weaker structural consistency in aerial scenes than in driving scenes since the same scene might be viewed from different perspectives and there is no well-defined and repeatable structure of the semantic elements in the images. Our solution to these problems is composed of: (i) a new mixing strategy for aerial segmentation across domains called Hierarchical Instance Mixing (HIMix), which extracts a set of connected components from each semantic mask and mixes them according to a semantic hierarchy and, (ii) a twin-head architecture in which two separate segmentation heads are fed with variations of the same images in a contrastive fashion to produce finer segmentation maps. We conduct extensive experiments on the LoveDA benchmark, where our solution outperforms the current state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google