Collaborating Foundation models for Domain Generalized Semantic Segmentation

要約

ドメイン一般化セマンティック セグメンテーション (DGSS) は、推論中に目に見えないドメインに一般化することを目的として、ラベル付きソース ドメインでモデルをトレーニングします。
既存の DGSS 手法は通常、ドメイン ランダム化 (DR) によって堅牢な機能を実現します。
このようなアプローチは、コンテンツではなくスタイルの多様化のみを考慮できるため、多くの場合制限されます。
この研究では、DGSS に対して直交的なアプローチを採用し、Domain Generalized Semantic Segmentation (CLOUDS) に CoLlaborative FOUndation モデルのアセンブリを使用することを提案します。
詳細には、CLOUDS はさまざまな種類の FM を統合するフレームワークです。(i) 堅牢な特徴表現のための CLIP バックボーン、(ii) コンテンツを多様化するための生成モデル、それによって考えられるターゲット分布のさまざまなモードをカバー、(iii) セグメント
セグメンテーション モデルの予測を繰り返し改良するための Anything Model (SAM)。
広範な実験により、当社の CLOUDS は、合成 DGSS ベンチマークから実際の DGSS ベンチマークへの適応、およびさまざまな気象条件下での適応に優れており、特に平均 miou でそれぞれ 5.6% および 6.7% も従来の方法を上回っていることが示されています。
コードは https://github.com/yasserben/CLOUDS で入手できます。

要約(オリジナル)

Domain Generalized Semantic Segmentation (DGSS) deals with training a model on a labeled source domain with the aim of generalizing to unseen domains during inference. Existing DGSS methods typically effectuate robust features by means of Domain Randomization (DR). Such an approach is often limited as it can only account for style diversification and not content. In this work, we take an orthogonal approach to DGSS and propose to use an assembly of CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation (CLOUDS). In detail, CLOUDS is a framework that integrates FMs of various kinds: (i) CLIP backbone for its robust feature representation, (ii) generative models to diversify the content, thereby covering various modes of the possible target distribution, and (iii) Segment Anything Model (SAM) for iteratively refining the predictions of the segmentation model. Extensive experiments show that our CLOUDS excels in adapting from synthetic to real DGSS benchmarks and under varying weather conditions, notably outperforming prior methods by 5.6% and 6.7% on averaged miou, respectively. The code is available at : https://github.com/yasserben/CLOUDS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google