FreeCOS: Self-Supervised Learning from Fractals and Unlabeled Images for Curvilinear Object Segmentation

要約

曲線オブジェクトのセグメンテーションは、多くのアプリケーションにとって重要です。
ただし、曲線オブジェクトに手動で注釈を付けるのは非常に時間がかかり、エラーが発生しやすいため、既存の教師あり手法やドメイン適応手法で利用できる注釈付きデータセットが不十分になります。
この論文では、フラクタルとラベルなし画像からロバストで特徴的な特徴を学習する自己教師付き曲線オブジェクト セグメンテーション法 (FreeCOS) を提案します。
主な貢献には、新しいフラクタル FDA 合成 (FFS) モジュールと幾何情報アラインメント (GIA) アプローチが含まれます。
FFS は、パラメトリック フラクタル L システムに基づいて曲線構造を生成し、生成された構造をラベルなしの画像に統合して、フーリエ ドメイン適応を通じて合成トレーニング画像を取得します。
GIA は、特定のピクセルの強度順序をその近くのピクセルの値と比較することにより、合成画像とラベルなし画像の間の強度の差を削減します。
このような画像の位置合わせは、絶対強度値への依存を明示的に除去し、合成画像と実際の画像の両方に共通する固有の幾何学的特性を強化することができます。
さらに、GIA は、予測空間適応損失 (PSAL) および曲線マスクコントラスト損失 (CMCL) を介して、合成画像と実際の画像の特徴を調整します。
4 つの公開データセット (XCAD、DRIVE、STARE、CrackTree) に関する広範な実験結果により、私たちの手法が最先端の教師なし手法、自己教師あり手法、従来の手法を大幅に上回ることが実証されています。
この作品のソースコードは https://github.com/TY-Shi/FreeCOS で入手できます。

要約(オリジナル)

Curvilinear object segmentation is critical for many applications. However, manually annotating curvilinear objects is very time-consuming and error-prone, yielding insufficiently available annotated datasets for existing supervised methods and domain adaptation methods. This paper proposes a self-supervised curvilinear object segmentation method that learns robust and distinctive features from fractals and unlabeled images (FreeCOS). The key contributions include a novel Fractal-FDA synthesis (FFS) module and a geometric information alignment (GIA) approach. FFS generates curvilinear structures based on the parametric Fractal L-system and integrates the generated structures into unlabeled images to obtain synthetic training images via Fourier Domain Adaptation. GIA reduces the intensity differences between the synthetic and unlabeled images by comparing the intensity order of a given pixel to the values of its nearby neighbors. Such image alignment can explicitly remove the dependency on absolute intensity values and enhance the inherent geometric characteristics which are common in both synthetic and real images. In addition, GIA aligns features of synthetic and real images via the prediction space adaptation loss (PSAL) and the curvilinear mask contrastive loss (CMCL). Extensive experimental results on four public datasets, i.e., XCAD, DRIVE, STARE and CrackTree demonstrate that our method outperforms the state-of-the-art unsupervised methods, self-supervised methods and traditional methods by a large margin. The source code of this work is available at https://github.com/TY-Shi/FreeCOS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google