Knowledge Distillation for Semantic Segmentation: A Label Space Unification Approach

要約

過去数年にわたって、セマンティックセグメンテーションのために同様のドメインを共有するデータセットの数が増えています。
しかし、全体的なデータの量が増えているにもかかわらず、さまざまなデータセットの分類および/またはラベル付けポリシーの矛盾のため、より大きなモデルをトレーニングすることは依然として困難です。
この目的のために、セマンティックセグメンテーションのラベル空間統合方法としても機能する知識蒸留アプローチを提案します。
要するに、教師モデルは、特定の分類法を備えたソースデータセットでトレーニングされ、関連するラベル空間のグラウンドトゥルースラベルが存在する追加データを擬似レーベルするために使用されます。
関連する分類法をソース分類法にマッピングすることにより、モデルが擬似ラベルを予測できる制約を作成します。
改善された擬似適応を使用して、2つの挑戦的なドメイン、つまり都市とオフロードの運転で一貫して教師を上回る学生モデルを訓練します。
私たちのグラウンドトゥルース補正された擬似ラベルは、それぞれ都市およびオフロードドメインの388.230と18.558の画像を備えた12および7のパブリックデータセットに及び、これまでの自律運転のための最大の複合データセットを作成します。

要約(オリジナル)

An increasing number of datasets sharing similar domains for semantic segmentation have been published over the past few years. But despite the growing amount of overall data, it is still difficult to train bigger and better models due to inconsistency in taxonomy and/or labeling policies of different datasets. To this end, we propose a knowledge distillation approach that also serves as a label space unification method for semantic segmentation. In short, a teacher model is trained on a source dataset with a given taxonomy, then used to pseudo-label additional data for which ground truth labels of a related label space exist. By mapping the related taxonomies to the source taxonomy, we create constraints within which the model can predict pseudo-labels. Using the improved pseudo-labels we train student models that consistently outperform their teachers in two challenging domains, namely urban and off-road driving. Our ground truth-corrected pseudo-labels span over 12 and 7 public datasets with 388.230 and 18.558 images for the urban and off-road domains, respectively, creating the largest compound datasets for autonomous driving to date.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google