MLMT-CNN for Object Detection and Segmentation in Multi-layer and Multi-spectral Images

要約

マルチスペクトル画像から太陽活動領域 (AR) の位置を正確に特定することは、太陽活動とその宇宙天気への影響を理解する上で困難ですが重要な作業です。
主な課題は、すべての画像バンドが同じシーンを観察する典型的なマルチスペクトル イメージング シナリオとは対照的に、各モダリティが 3D オブジェクトの異なる位置をキャプチャすることに起因します。
したがって、この特殊なマルチスペクトル シナリオをマルチレイヤーと呼びます。
我々は、画像バンド間の依存関係を利用して、異なる画像バンド (および物理的位置) が独自の結果セットを持つ 3D AR ローカリゼーション (セグメンテーションと検出) を生成する、マルチタスクの深層学習フレームワークを紹介します。
さらに、教師あり機械学習 (ML) アルゴリズムをトレーニングするための高密度の AR アノテーションを作成する難しさに対処するために、弱いラベル (つまり、境界ボックス) に基づくトレーニング戦略を再帰的に適応させます。
検出およびセグメンテーションの段階を、太陽画像解析のベースライン アプローチ (マルチチャネル コロナ ホール検出、AR 用 SPOCA) および最先端の深層学習手法 (Faster RCNN、U-Net) と比較します。
さらに、検出段階とセグメンテーション段階の両方が、注釈付きのマルチモーダル磁気共鳴画像から作成された同様の空間構成の人工的に作成されたデータで定量的に検証されます。
私たちのフレームワークは、すべてのモダリティで平均 0.72 IoU (セグメンテーション) と 0.90 F1 スコア (検出) を達成しました。これと比較して、人工データセットではそれぞれ 0.53 と 0.58 のスコア、AR では 0.84 F1 スコアという最もパフォーマンスの高いベースライン手法と比較しています。
0.82 F1 スコアのベースラインと比較した検出タスク。
当社のセグメンテーション結果は、実際の AR の専門家によって定性的に検証されています。

要約(オリジナル)

Precisely localising solar Active Regions (AR) from multi-spectral images is a challenging but important task in understanding solar activity and its influence on space weather. A main challenge comes from each modality capturing a different location of the 3D objects, as opposed to typical multi-spectral imaging scenarios where all image bands observe the same scene. Thus, we refer to this special multi-spectral scenario as multi-layer. We present a multi-task deep learning framework that exploits the dependencies between image bands to produce 3D AR localisation (segmentation and detection) where different image bands (and physical locations) have their own set of results. Furthermore, to address the difficulty of producing dense AR annotations for training supervised machine learning (ML) algorithms, we adapt a training strategy based on weak labels (i.e. bounding boxes) in a recursive manner. We compare our detection and segmentation stages against baseline approaches for solar image analysis (multi-channel coronal hole detection, SPOCA for ARs) and state-of-the-art deep learning methods (Faster RCNN, U-Net). Additionally, both detection a nd segmentation stages are quantitatively validated on artificially created data of similar spatial configurations made from annotated multi-modal magnetic resonance images. Our framework achieves an average of 0.72 IoU (segmentation) and 0.90 F1 score (detection) across all modalities, comparing to the best performing baseline methods with scores of 0.53 and 0.58, respectively, on the artificial dataset, and 0.84 F1 score in the AR detection task comparing to baseline of 0.82 F1 score. Our segmentation results are qualitatively validated by an expert on real ARs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google