What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation

要約

セマンティック セグメンテーションは過去に大幅な改善が見られましたが、依然として大規模なラベル付け作業が必要であり、トレーニング中に存在しなかったクラスへの一般化が限定されるという問題があります。
この問題に対処するために、ゼロショット セマンティック セグメンテーションは大規模な自己教師ありビジョン言語モデルを利用し、目に見えないクラスへのゼロショット転送を可能にします。
この作業では、マルチドメイン セマンティック セグメンテーション (MESS) のベンチマークを構築します。これにより、医学、工学、地球監視、生物学、農業など、幅広いドメイン固有のデータセットにわたるパフォーマンスの総合的な分析が可能になります。
これを行うために、120 個のデータセットをレビューし、分類法を作成し、作成した分類法に従ってデータセットを分類しました。
22 個のデータセットから構成される代表的なサブセットを選択し、それを MESS ベンチマークとして提案します。
提案されている MESS ベンチマークで最近公開された 8 つのモデルを評価し、ゼロショット転送モデルのパフォーマンスの特性を分析します。
ツールキットは https://github.com/blumenstiel/MESS で入手できます。

要約(オリジナル)

While semantic segmentation has seen tremendous improvements in the past, there is still significant labeling efforts necessary and the problem of limited generalization to classes that have not been present during training. To address this problem, zero-shot semantic segmentation makes use of large self-supervised vision-language models, allowing zero-shot transfer to unseen classes. In this work, we build a benchmark for Multi-domain Evaluation of Semantic Segmentation (MESS), which allows a holistic analysis of performance across a wide range of domain-specific datasets such as medicine, engineering, earth monitoring, biology, and agriculture. To do this, we reviewed 120 datasets, developed a taxonomy, and classified the datasets according to the developed taxonomy. We select a representative subset consisting of 22 datasets and propose it as the MESS benchmark. We evaluate eight recently published models on the proposed MESS benchmark and analyze characteristics for the performance of zero-shot transfer models. The toolkit is available at https://github.com/blumenstiel/MESS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google