Training Semantic Segmentation on Heterogeneous Datasets

要約

従来の単一データセットの同種トレーニングを超えたセマンティック セグメンテーションを調査し、セマンティック セグメンテーションの異種トレーニング (HTSS) の問題を提起します。
HTSS には、複数の異種データセット、つまり、セマンティック セグメンテーションの観点から、競合するラベル スペースと異なる (弱い) 注釈タイプを持つデータセットの同時トレーニングが含まれます。
HTSS の定式化により、深いネットワークが、以前は調査されていなかったより大規模な情報の集約にさらされ、次の 3 つの方向でセマンティック セグメンテーションが強化される可能性があります。
知識: 認識可能なセマンティック コンセプトの数の増加。
HTSS のこれらの利点を調査するために、確立された FCN 標準に従って、異種データセットを単一ネットワーク トレーニング パイプラインに組み込む統合フレームワークを提案します。
私たちのフレームワークは、最初に異種のデータセットをキュレートして共通の形式にし、次にそれらすべてに対して単一のバックボーン FCN を同時にトレーニングします。
これを実現するために、セマンティック セグメンテーションと互換性のない弱い注釈をピクセルごとのラベルに変換し、それらのラベル スペースを普遍的な分類法に階層化します。
トレーニング済みの HTSS モデルは、幅広いデータセットでパフォーマンスと一般化の向上を示し、数百のセマンティック クラスを伴う推論ラベル空間を拡張します。

要約(オリジナル)

We explore semantic segmentation beyond the conventional, single-dataset homogeneous training and bring forward the problem of Heterogeneous Training of Semantic Segmentation (HTSS). HTSS involves simultaneous training on multiple heterogeneous datasets, i.e. datasets with conflicting label spaces and different (weak) annotation types from the perspective of semantic segmentation. The HTSS formulation exposes deep networks to a larger and previously unexplored aggregation of information that can potentially enhance semantic segmentation in three directions: i) performance: increased segmentation metrics on seen datasets, ii) generalization: improved segmentation metrics on unseen datasets, and iii) knowledgeability: increased number of recognizable semantic concepts. To research these benefits of HTSS, we propose a unified framework, that incorporates heterogeneous datasets in a single-network training pipeline following the established FCN standard. Our framework first curates heterogeneous datasets to bring them into a common format and then trains a single-backbone FCN on all of them simultaneously. To achieve this, it transforms weak annotations, which are incompatible with semantic segmentation, to per-pixel labels, and hierarchizes their label spaces into a universal taxonomy. The trained HTSS models demonstrate performance and generalization gains over a wide range of datasets and extend the inference label space entailing hundreds of semantic classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google