Mineral segmentation using electron microscope images and spectral sampling through multimodal graph neural networks

要約

マルチモーダルスキャン電子顕微鏡（SEM）画像のデータ融合に基づいて、セグメンテーションのための新しいグラフニューラルネットワークベースの方法を提案します。
ほとんどの場合、SEMを使用して取得した後方散乱電子（BSE）画像には、鉱物セグメンテーションに十分な情報が含まれていません。
したがって、イメージングは​​、多くの場合、化学組成に関する非常に正確な情報を提供するが、獲得に時間がかかるように、ポイントワイズエネルギー分散型X線分光法（EDS）スペクトル測定で補完されます。
これにより、ミネラルセグメンテーションのためにBSE画像と組み合わせて、スパーススペクトルデータの使用が動機付けられます。
スペクトルデータの構造化されていない性質により、ほとんどの従来の画像融合技術は、BSE-EDS融合に適していません。
グラフニューラルネットワークを使用して2つのモダリティを融合し、鉱物相を同時にセグメント化することを提案します。
我々の結果は、わずか1％のBSEピクセルのEDSデータを提供すると正確なセグメンテーションを生成し、ミネラルサンプルの迅速な分析を可能にすることを示しています。
提案されたデータ融合パイプラインは多用途であり、画像データとポイントごとの測定を含む他のドメインに適合させることができます。

要約(オリジナル)

We propose a novel Graph Neural Network-based method for segmentation based on data fusion of multimodal Scanning Electron Microscope (SEM) images. In most cases, Backscattered Electron (BSE) images obtained using SEM do not contain sufficient information for mineral segmentation. Therefore, imaging is often complemented with point-wise Energy-Dispersive X-ray Spectroscopy (EDS) spectral measurements that provide highly accurate information about the chemical composition but that are time-consuming to acquire. This motivates the use of sparse spectral data in conjunction with BSE images for mineral segmentation. The unstructured nature of the spectral data makes most traditional image fusion techniques unsuitable for BSE-EDS fusion. We propose using graph neural networks to fuse the two modalities and segment the mineral phases simultaneously. Our results demonstrate that providing EDS data for as few as 1% of BSE pixels produces accurate segmentation, enabling rapid analysis of mineral samples. The proposed data fusion pipeline is versatile and can be adapted to other domains that involve image data and point-wise measurements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google