ClassWise-CRF: Category-Specific Fusion for Enhanced Semantic Segmentation of Remote Sensing Imagery

要約

ClassWise-CRFと呼ばれる結果レベルのカテゴリ固有の融合アーキテクチャを提案します。
このアーキテクチャは2段階のプロセスを採用しています。まず、貪欲なアルゴリズムを使用して候補ネットワークのプールから特定のカテゴリでうまく機能するエキスパートネットワークを選択します。
第二に、各カテゴリでのセグメンテーションパフォーマンスに基づいて、これらの選択されたネットワークのセグメンテーション予測を統合します。
条件付きランダムフィールド（CRF）に触発されたClassWise-CRFアーキテクチャは、複数のネットワークからのセグメンテーション予測を信頼ベクトルフィールドとして扱います。
これは、検証セットからのセグメンテーションメトリック（組合の交差点など）をPriorsとして活用し、各ネットワークによって予測されるカテゴリ固有の信頼スコアを融合するための指数関数的な重み付け戦略を採用しています。
この融合法は、各ネットワークの重みを異なるカテゴリに対して動的に調整し、カテゴリ固有の最適化を実現します。
これに基づいて、このアーキテクチャは、CRFの単一およびペアワイズポテンシャルを使用して融合結果をさらに最適化し、空間的な一貫性と境界の精度を確保します。
ClassWise-CRFの有効性を検証するために、8つのクラシックおよび高度なセマンティックセグメンテーションネットワークを使用して、2つのリモートセンシングデータセット、LovedaとVaihingenで実験を実施しました。
結果は、ClassWise-CRFアーキテクチャがセグメンテーションのパフォーマンスを大幅に改善することを示しています。Lovedaデータセットでは、ユニオン（MIOU）の平均交差点が検証セットで1.00％増加し、テストセットで0.68％増加しました。
Vaihingenデータセットでは、MIOUは検証セットで0.87％、テストセットで0.91％改善されました。
これらの結果は、リモートセンシング画像のセマンティックセグメンテーションにおけるクラスワイズCRFアーキテクチャの有効性と一般性を完全に示しています。
完全なコードは、https：//github.com/zhuqinfeng1999/classwise-crfで入手できます。

要約(オリジナル)

We propose a result-level category-specific fusion architecture called ClassWise-CRF. This architecture employs a two-stage process: first, it selects expert networks that perform well in specific categories from a pool of candidate networks using a greedy algorithm; second, it integrates the segmentation predictions of these selected networks by adaptively weighting their contributions based on their segmentation performance in each category. Inspired by Conditional Random Field (CRF), the ClassWise-CRF architecture treats the segmentation predictions from multiple networks as confidence vector fields. It leverages segmentation metrics (such as Intersection over Union) from the validation set as priors and employs an exponential weighting strategy to fuse the category-specific confidence scores predicted by each network. This fusion method dynamically adjusts the weights of each network for different categories, achieving category-specific optimization. Building on this, the architecture further optimizes the fused results using unary and pairwise potentials in CRF to ensure spatial consistency and boundary accuracy. To validate the effectiveness of ClassWise-CRF, we conducted experiments on two remote sensing datasets, LoveDA and Vaihingen, using eight classic and advanced semantic segmentation networks. The results show that the ClassWise-CRF architecture significantly improves segmentation performance: on the LoveDA dataset, the mean Intersection over Union (mIoU) metric increased by 1.00% on the validation set and by 0.68% on the test set; on the Vaihingen dataset, the mIoU improved by 0.87% on the validation set and by 0.91% on the test set. These results fully demonstrate the effectiveness and generality of the ClassWise-CRF architecture in semantic segmentation of remote sensing images. The full code is available at https://github.com/zhuqinfeng1999/ClassWise-CRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google