Semi-supervised segmentation of land cover images using nonlinear canonical correlation analysis with multiple features and t-SNE

要約

画像セグメンテーションは、各ピクセルにクラスター ラベルを割り当てるクラスタリング タスクです。
リモート センシング データは通常、複数バンドのスペクトル画像で構成されており、その中には意味的に意味のある土地被覆サブ領域が存在し、利用可能な場合は LIDAR (光検出測距) データなどの他のソース データと同時登録されます。
これは、ピクセル間の空間相関を考慮するために、各ピクセルに関連付けられた特徴ベクトルが、必要に応じて複数のバンドとローカル パッチを表すベクトル化されたテンソルである可能性があることを示唆しています。
同様に、ピクセルのローカル パッチに基づく複数のタイプのテクスチャ特徴も、必ずしも大量のグラウンド トゥルースをピクセルごとにラベル付けしてから教師ありモデルをトレーニングする必要がなく、局所的な統計情報と空間的変動をエンコードするのに有益です。これは場合によっては非現実的です。
この研究では、少量のピクセルのみにラベルを付けることに頼ることにより、新しい半教師ありセグメンテーション アプローチが提案されています。
最初に、すべてのピクセルにわたって、画像データ マトリックスが高次元特徴空間に作成されます。
次に、t-SNE は高次元データを 3D エンベディングに投影します。
ラベル付けされたデータ サンプルを中心として使用する動径基底関数を入力特徴として使用し、出力クラス ラベルと組み合わせることで、RBF-CCA と呼ばれる修正正準相関分析アルゴリズムが導入され、関連する射影行列を学習します。
小さなラベル付きデータセット。
画像全体に対して取得された関連する正準変数は、k-means クラスタリング アルゴリズムによって適用されます。
提案された半教師あり RBF-CCA アルゴリズムは、リモートで検出されたいくつかのマルチスペクトル画像に実装され、優れたセグメンテーション結果を実証しました。

要約(オリジナル)

Image segmentation is a clustering task whereby each pixel is assigned a cluster label. Remote sensing data usually consists of multiple bands of spectral images in which there exist semantically meaningful land cover subregions, co-registered with other source data such as LIDAR (LIght Detection And Ranging) data, where available. This suggests that, in order to account for spatial correlation between pixels, a feature vector associated with each pixel may be a vectorized tensor representing the multiple bands and a local patch as appropriate. Similarly, multiple types of texture features based on a pixel’s local patch would also be beneficial for encoding locally statistical information and spatial variations, without necessarily labelling pixel-wise a large amount of ground truth, then training a supervised model, which is sometimes impractical. In this work, by resorting to label only a small quantity of pixels, a new semi-supervised segmentation approach is proposed. Initially, over all pixels, an image data matrix is created in high dimensional feature space. Then, t-SNE projects the high dimensional data onto 3D embedding. By using radial basis functions as input features, which use the labelled data samples as centres, to pair with the output class labels, a modified canonical correlation analysis algorithm, referred to as RBF-CCA, is introduced which learns the associated projection matrix via the small labelled data set. The associated canonical variables, obtained for the full image, are applied by k-means clustering algorithm. The proposed semi-supervised RBF-CCA algorithm has been implemented on several remotely sensed multispectral images, demonstrating excellent segmentation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google