Multi-scale attention-based instance segmentation for measuring crystals with large size variation

要約

高解像度画像で結晶を定量的に測定すると、根底にある材料特性についての重要な洞察が可能になります。
ディープラーニングは、視覚ベースの自動結晶サイズ測定において大きな進歩を示していますが、現在のインスタンス分割方法は、結晶サイズのばらつきが大きい画像や結晶境界の検出が困難な画像では限界に達しています。
セグメントが間違って融合されたり分離されたりするなど、小さな画像セグメンテーション エラーでも、測定結果の精度が大幅に低下する可能性があります。
既存のピクセル単位の境界セグメンテーション方法を改善する代わりに、測定精度を向上させるためにより堅牢なセグメンテーション結果を提供するインスタンスベースのセグメンテーション方法を使用することを提案します。
私たちの新しい方法は、サイズを認識したマルチスケール アテンション モジュールを使用してフロー マップを強化します。
アテンション モジュールは、複数のスケールからの情報を適応的に融合し、セグメント化された画像領域ごとに最も関連性の高いスケールに焦点を当てます。
私たちが提案したアテンションフュージョン戦略が、最先端のインスタンスおよび境界セグメンテーション手法、さらにはマルチスケール予測の単純な平均フュージョンよりも優れていることを実証します。
結晶サイズが大きく異なる高解像度画像の耐火物原料データセットでこの方法を評価し、このモデルを使用して既存の方法よりも結晶サイズをより正確に計算できることを示します。

要約(オリジナル)

Quantitative measurement of crystals in high-resolution images allows for important insights into underlying material characteristics. Deep learning has shown great progress in vision-based automatic crystal size measurement, but current instance segmentation methods reach their limits with images that have large variation in crystal size or hard to detect crystal boundaries. Even small image segmentation errors, such as incorrectly fused or separated segments, can significantly lower the accuracy of the measured results. Instead of improving the existing pixel-wise boundary segmentation methods, we propose to use an instance-based segmentation method, which gives more robust segmentation results to improve measurement accuracy. Our novel method enhances flow maps with a size-aware multi-scale attention module. The attention module adaptively fuses information from multiple scales and focuses on the most relevant scale for each segmented image area. We demonstrate that our proposed attention fusion strategy outperforms state-of-the-art instance and boundary segmentation methods, as well as simple average fusion of multi-scale predictions. We evaluate our method on a refractory raw material dataset of high-resolution images with large variation in crystal size and show that our model can be used to calculate the crystal size more accurately than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google