DeepMerge: Deep-Learning-Based Region-Merging for Image Segmentation

要約

画像セグメンテーションは、シーン内のオブジェクトに従って画像を分割することを目的としており、非常に高い空間解像度 (VHR) のリモート センシング画像を分析する際の基本的な手順です。
現在の方法では、さまざまな形状やサイズの土地オブジェクトを効果的に考慮するのが困難です。
さらに、セグメンテーション スケール パラメータの決定は静的かつ経験的な原則に従うことが多く、大規模なリモート センシング画像のセグメンテーションに制限が生じ、解釈可能性が制限されたアルゴリズムが生成されます。
上記の課題に対処するために、深層学習と領域隣接グラフ (RAG) を統合することで、大規模な VHR 画像内の完全なオブジェクトのセグメンテーションを処理する、DeepMerge と呼ばれる深層学習ベースの領域結合方法を提案します。
これは、深層学習を使用して類似性を学習し、RAG で類似した隣接するスーパーピクセルをマージする最初の方法です。
トランスフォーマーベースの深層学習ネットワークへの入力として機能するシフトスケールデータを生成するための修正されたバイナリツリーサンプリング方法、スケール全体で特徴を学習するための 3 次元相対位置埋め込みによるシフトスケールアテンション、および学習されたデータを融合するための埋め込みを提案します。
手作りの機能を備えた機能。
DeepMerge は、大規模なリモート センシング画像から教師ありの方法で高いセグメンテーション精度を達成でき、5,660 km^2 のエリアをカバーする解像度 0.55 m のリモート センシング画像を使用して検証される、解釈可能な最適なスケール パラメーターを提供します。
実験結果は、DeepMerge が最高の F 値 (0.9550) と最低の合計誤差 TE (0.0895) を達成し、さまざまなサイズのオブジェクトを正しくセグメント化し、競合するすべてのセグメンテーション手法を上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Image segmentation aims to partition an image according to the objects in the scene and is a fundamental step in analysing very high spatial-resolution (VHR) remote sensing imagery. Current methods struggle to effectively consider land objects with diverse shapes and sizes. Additionally, the determination of segmentation scale parameters frequently adheres to a static and empirical doctrine, posing limitations on the segmentation of large-scale remote sensing images and yielding algorithms with limited interpretability. To address the above challenges, we propose a deep-learning-based region merging method dubbed DeepMerge to handle the segmentation of complete objects in large VHR images by integrating deep learning and region adjacency graph (RAG). This is the first method to use deep learning to learn the similarity and merge similar adjacent super-pixels in RAG. We propose a modified binary tree sampling method to generate shift-scale data, serving as inputs for transformer-based deep learning networks, a shift-scale attention with 3-Dimension relative position embedding to learn features across scales, and an embedding to fuse learned features with hand-crafted features. DeepMerge can achieve high segmentation accuracy in a supervised manner from large-scale remotely sensed images and provides an interpretable optimal scale parameter, which is validated using a remote sensing image of 0.55 m resolution covering an area of 5,660 km^2. The experimental results show that DeepMerge achieves the highest F value (0.9550) and the lowest total error TE (0.0895), correctly segmenting objects of different sizes and outperforming all competing segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google