Semi-supervised machine learning model for analysis of nanowire morphologies from transmission electron microscopy images

要約

材料科学の分野では、顕微鏡は構造特性評価のための最初の、そして多くの場合唯一のアクセス可能な方法です。
顕微鏡画像の分析と解釈を自動化できる機械学習手法の開発への関心が高まっています。
通常、機械学習モデルのトレーニングには、構造ラベルが関連付けられた多数の画像が必要ですが、手動で画像にラベルを付けるにはドメインの知識が必要であり、人的ミスや主観性が発生しやすくなります。
これらの制限を克服するために、トレーニングに少数のラベル付き顕微鏡画像を使用し、非常に大きな画像データセットでトレーニングされた方法と同じくらい効果的に実行する、半教師付き転移学習アプローチを提示します。
具体的には、自己教師あり学習法を使用してラベルのない画像で画像エンコーダーをトレーニングし、そのエンコーダーを使用して、トレーニング用の最小数のラベル付き画像を使用して、さまざまなダウンストリーム画像タスク (分類とセグメンテーション) の転移学習を行います。
透過型電子顕微鏡 (TEM) 画像で、SimCLR と Barlow-Twins の 2 つの自己教師あり学習方法の転移学習能力をテストします。
この機械学習ワークフローをタンパク質ナノワイヤの TEM 画像に適用することで、ナノワイヤの形態 (単一ナノワイヤ、ナノワイヤ バンドル、相分離など) の自動分類と、ナノワイヤ ドメイン サイズの定量化の基礎として機能するセグメンテーション タスクがどのように可能になるかを詳細に示します。
そして形状分析。
また、機械学習ワークフローの適用を、ナノ粒子の形態の分類と、TEM 画像からのさまざまな種類のウイルスの識別に拡張します。

要約(オリジナル)

In the field of materials science, microscopy is the first and often only accessible method for structural characterization. There is a growing interest in the development of machine learning methods that can automate the analysis and interpretation of microscopy images. Typically training of machine learning models requires large numbers of images with associated structural labels, however, manual labeling of images requires domain knowledge and is prone to human error and subjectivity. To overcome these limitations, we present a semi-supervised transfer learning approach that uses a small number of labeled microscopy images for training and performs as effectively as methods trained on significantly larger image datasets. Specifically, we train an image encoder with unlabeled images using self-supervised learning methods and use that encoder for transfer learning of different downstream image tasks (classification and segmentation) with a minimal number of labeled images for training. We test the transfer learning ability of two self-supervised learning methods: SimCLR and Barlow-Twins on transmission electron microscopy (TEM) images. We demonstrate in detail how this machine learning workflow applied to TEM images of protein nanowires enables automated classification of nanowire morphologies (e.g., single nanowires, nanowire bundles, phase separated) as well as segmentation tasks that can serve as groundwork for quantification of nanowire domain sizes and shape analysis. We also extend the application of the machine learning workflow to classification of nanoparticle morphologies and identification of different type of viruses from TEM images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google