ISLE: A Framework for Image Level Semantic Segmentation Ensemble

要約

現実世界で最先端のセマンティック セグメンテーション ネットワークを採用する際の主なボトルネックの 1 つは、トレーニング ラベルの可用性です。
従来のセマンティック セグメンテーション ネットワークでは、最先端の予測品質を実現するには、ピクセルごとに注釈が付けられた大量のラベルが必要です。
したがって、いくつかの研究は、画像レベルの注釈のみを使用してトレーニングされたセマンティック セグメンテーション ネットワークに焦点を当てています。
しかし、最先端の結果をより詳細に精査すると、平均予測品質が互いに著しく近く、異なるクラスでは異なるアプローチがより優れたパフォーマンスを発揮する一方で、他のクラスでは低品質であることがわかります。
この問題に対処するために、クラスレベルでの異なるセマンティック セグメンテーション技術の所定のセットに対して「疑似ラベル」のアンサンブルを使用する新しいフレームワーク ISLE を提案します。
擬似ラベルは、最終的なセグメンテーション モデルをトレーニングするために使用される画像レベルのセマンティック セグメンテーション フレームワークのピクセル単位の予測です。
当社の擬似ラベルは、複数のセグメンテーション技術アプローチの長所をシームレスに組み合わせて、優れた予測品質を実現します。
ISLE の個々のコンポーネントと比較して、最大 2.4% の改善に達します。
画像レベルのセマンティック セグメンテーションの最先端のフレームワークに対する ISLE の有効性を実証するために、徹底的な分析が実行されました。

要約(オリジナル)

One key bottleneck of employing state-of-the-art semantic segmentation networks in the real world is the availability of training labels. Conventional semantic segmentation networks require massive pixel-wise annotated labels to reach state-of-the-art prediction quality. Hence, several works focus on semantic segmentation networks trained with only image-level annotations. However, when scrutinizing the results of state-of-the-art in more detail, we notice that they are remarkably close to each other on average prediction quality, different approaches perform better in different classes while providing low quality in others. To address this problem, we propose a novel framework, ISLE, which employs an ensemble of the ‘pseudo-labels’ for a given set of different semantic segmentation techniques on a class-wise level. Pseudo-labels are the pixel-wise predictions of the image-level semantic segmentation frameworks used to train the final segmentation model. Our pseudo-labels seamlessly combine the strong points of multiple segmentation techniques approaches to reach superior prediction quality. We reach up to 2.4% improvement over ISLE’s individual components. An exhaustive analysis was performed to demonstrate ISLE’s effectiveness over state-of-the-art frameworks for image-level semantic segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google