Deep Learning of Crystalline Defects from TEM images: A Solution for the Problem of ‘Never Enough Training Data’

要約

線状転位などの結晶欠陥は、多くの金属デバイスの性能と信頼性にとって重要な役割を果たします。
それらの相互作用と進化は、材料科学と材料物理学に対して依然として多くの未解決の疑問を投げかけています。
その場 TEM 実験は、転位がどのように挙動し、移動するかについての重要な洞察を提供します。
このような実験では、転位の微細構造がビデオの形で撮影されます。
個々のビデオ フレームの分析は有用な洞察を提供しますが、曲面オブジェクトとしての転位の自動識別、デジタル化、および定量的抽出の機能によって制限されます。
また、データ量が膨大なため、手動によるアノテーションには非常に時間がかかり、ディープラーニングベースの自動画像解析や転位微細構造のセグメンテーションの使用が制限されます。
この研究では、転位のセグメント化のための合成トレーニング データを生成するためのパラメトリック モデルが開発されています。
専門分野の科学者は合成トレーニング画像を人工的すぎるとして却下する場合もありますが、私たちの調査結果は、特にさまざまな微細構造やイメージング条件に関する深層学習モデルの一般化に関して、合成トレーニング画像が優れたパフォーマンスをもたらす可能性があることを示しています。
さらに、重複または交差する転位線をセグメント化するために最適化された強化された深層学習手法を提案します。
このフレームワークを 4 つの異なる実際のデータセットでテストしたところ、合成トレーニング データは実際の画像でも高品質の結果を生み出すことができることがわかりました。少数の実際の画像で微調整が行われた場合は、さらに高品質の結果が得られます。

要約(オリジナル)

Crystalline defects, such as line-like dislocations, play an important role for the performance and reliability of many metallic devices. Their interaction and evolution still poses a multitude of open questions to materials science and materials physics. In-situ TEM experiments can provide important insights into how dislocations behave and move. During such experiments, the dislocation microstructure is captured in form of videos. The analysis of individual video frames can provide useful insights but is limited by the capabilities of automated identification, digitization, and quantitative extraction of the dislocations as curved objects. The vast amount of data also makes manual annotation very time consuming, thereby limiting the use of Deep Learning-based, automated image analysis and segmentation of the dislocation microstructure. In this work, a parametric model for generating synthetic training data for segmentation of dislocations is developed. Even though domain scientists might dismiss synthetic training images sometimes as too artificial, our findings show that they can result in superior performance, particularly regarding the generalizing of the Deep Learning models with respect to different microstructures and imaging conditions. Additionally, we propose an enhanced deep learning method optimized for segmenting overlapping or intersecting dislocation lines. Upon testing this framework on four distinct real datasets, we find that our synthetic training data are able to yield high-quality results also on real images-even more so if fine-tune on a few real images was done.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google