Weakly supervised training of universal visual concepts for multi-domain semantic segmentation

要約

深い教師ありモデルには、大量のトレーニング データを吸収する前例のない容量があります。
したがって、複数のデータセットでのトレーニングは、通常のシーンでの強力な一般化と、エッジ ケースでの適切なパフォーマンス低下を実現するための最適な方法になります。
残念ながら、異なるデータセットのラベルには互換性がないことがよくあります。
たとえば、Cityscapes の道路クラスはすべての走行面を包含しますが、Vistas は道路標示、マンホールなどに対して個別のクラスを定義します。さらに、多くのデータセットではラベルが重複しています。
たとえば、ピックアップは VIPER ではトラック、Vistas では車、ADE20k ではバンとして分類されます。
私たちは、ラベルを普遍的な視覚的概念の結合と見なすことで、この課題に取り組んでいます。
これにより、再ラベル付けの作業を必要とせずに、マルチドメイン データセット コレクションでシームレスかつ原則に基づいた学習が可能になります。
私たちの方法は、競争力のあるデータセット内およびクロスデータセットの一般化と、どのトレーニング データセットでも個別にラベル付けされていない視覚的な概念を学習する能力を実現します。
実験では、2 つのマルチドメイン データセット コレクションと WildDash 2 ベンチマークで、競争力のある、または最先端のパフォーマンスが明らかになりました。

要約(オリジナル)

Deep supervised models have an unprecedented capacity to absorb large quantities of training data. Hence, training on multiple datasets becomes a method of choice towards strong generalization in usual scenes and graceful performance degradation in edge cases. Unfortunately, different datasets often have incompatible labels. For instance, the Cityscapes road class subsumes all driving surfaces, while Vistas defines separate classes for road markings, manholes etc. Furthermore, many datasets have overlapping labels. For instance, pickups are labeled as trucks in VIPER, cars in Vistas, and vans in ADE20k. We address this challenge by considering labels as unions of universal visual concepts. This allows seamless and principled learning on multi-domain dataset collections without requiring any relabeling effort. Our method achieves competitive within-dataset and cross-dataset generalization, as well as ability to learn visual concepts which are not separately labeled in any of the training datasets. Experiments reveal competitive or state-of-the-art performance on two multi-domain dataset collections and on the WildDash 2 benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google