A Robust Morphological Approach for Semantic Segmentation of Very High Resolution Images

要約

画像のセマンティック セグメンテーションの最先端の方法には、計算集約型のニューラル ネットワーク アーキテクチャが含まれます。
これらの方法のほとんどは、メモリやその他の計算上の問題により、高解像度の画像セグメンテーションに適応できません。
文献における典型的なアプローチには、低解像度画像からのグローバル情報と高解像度画像からのローカル情報を融合できるニューラル ネットワーク アーキテクチャの設計が含まれます。
ただし、高解像度の画像を処理するために設計されたアーキテクチャは不必要に複雑であり、調整が難しいハイパー パラメーターが多数含まれています。
また、これらのアーキテクチャのほとんどは、トレーニングのために高解像度画像のグラウンド トゥルース アノテーションを必要としますが、これを取得するのは困難です。
この記事では、既存のセマンティック セグメンテーション アルゴリズムを高解像度画像にシームレスに拡張できる数学的形態素 (MM) 演算子に基づく堅牢なパイプラインを開発します。
私たちの方法は、高解像度画像のグラウンド トゥルース アノテーションを必要としません。
これは、低解像度画像からの情報と高解像度画像の勾配情報を効率的に利用することに基づいています。
従来の形態学的演算子を使用して低解像度画像の推定ラベルから高品質のシードを取得し、ランダム ウォーカーを使用してシード ラベルを伝播し、境界でセマンティック ラベルを改良します。
私たちの方法によって得られたセマンティック セグメンテーションの結果が、高解像度画像に対する既存の最先端のアルゴリズムより優れていることを示します。
パイプラインで使用されるハイパーパラメーターへのアプローチの堅牢性を経験的に証明します。
さらに、パイプラインが適用されるいくつかの必要な条件を特徴付け、提案されたアプローチの詳細な分析を提供します。

要約(オリジナル)

State-of-the-art methods for semantic segmentation of images involve computationally intensive neural network architectures. Most of these methods are not adaptable to high-resolution image segmentation due to memory and other computational issues. Typical approaches in literature involve design of neural network architectures that can fuse global information from low-resolution images and local information from the high-resolution counterparts. However, architectures designed for processing high resolution images are unnecessarily complex and involve a lot of hyper parameters that can be difficult to tune. Also, most of these architectures require ground truth annotations of the high resolution images to train, which can be hard to obtain. In this article, we develop a robust pipeline based on mathematical morphological (MM) operators that can seamlessly extend any existing semantic segmentation algorithm to high resolution images. Our method does not require the ground truth annotations of the high resolution images. It is based on efficiently utilizing information from the low-resolution counterparts, and gradient information on the high-resolution images. We obtain high quality seeds from the inferred labels on low-resolution images using traditional morphological operators and propagate seed labels using a random walker to refine the semantic labels at the boundaries. We show that the semantic segmentation results obtained by our method beat the existing state-of-the-art algorithms on high-resolution images. We empirically prove the robustness of our approach to the hyper parameters used in our pipeline. Further, we characterize some necessary conditions under which our pipeline is applicable and provide an in-depth analysis of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google