Affinity-VAE: incorporating prior knowledge in representation learning from scientific images

要約

データのコンパクトで解釈可能な表現を学習することは、科学的画像分析における重要な課題です。
ここでは、トレーニング中に学習した表現のデータセットのインスタンスの類似性について科学的な直観を課すことができる生成モデルであるAffinity-Vaeを紹介します。
Cryo-Electron断層撮影（CRYO-ET）の科学的領域におけるアプローチの有用性を実証します。ここでは、重要な現在の課題は、騒々しいコントラスト断層撮影画像の体積内で同様の分子を識別することです。
このタスクは、推論時に、インスタンスがトレーニングセットの一部であるかどうかは不明であるという点で分類とは異なります。
タンパク質構造の事前知識を使用して、潜在的な空間を知らせるために、アフィニティ-VAEを訓練しました。
私たちのモデルは、他のアプローチと比較してクラスター分離が改善され、潜在的な表現に回転する、形態学的に均質なクラスターを作成することができます。
オブジェクトのポーズ、構造的類似性、解釈可能な潜在表現の追加の利点により、タンパク質分類で競争力のあるパフォーマンスを達成します。
Cryo-ETデータのコンテキストでは、Affinity-Vaeは、その後の科学実験のために事前に使用できる3Dの特定されたタンパク質の方向をキャプチャします。
訓練されたネットワークから物理的原理を抽出することは、グラウンドトゥルーストレーニングセットが必ずしも実現可能ではない科学イメージングにおいて非常に重要です。

要約(オリジナル)

Learning compact and interpretable representations of data is a critical challenge in scientific image analysis. Here, we introduce Affinity-VAE, a generative model that enables us to impose our scientific intuition about the similarity of instances in the dataset on the learned representation during training. We demonstrate the utility of the approach in the scientific domain of cryo-electron tomography (cryo-ET) where a significant current challenge is to identify similar molecules within a noisy and low contrast tomographic image volume. This task is distinct from classification in that, at inference time, it is unknown whether an instance is part of the training set or not. We trained affinity-VAE using prior knowledge of protein structure to inform the latent space. Our model is able to create rotationally-invariant, morphologically homogeneous clusters in the latent representation, with improved cluster separation compared to other approaches. It achieves competitive performance on protein classification with the added benefit of disentangling object pose, structural similarity and an interpretable latent representation. In the context of cryo-ET data, affinity-VAE captures the orientation of identified proteins in 3D which can be used as a prior for subsequent scientific experiments. Extracting physical principles from a trained network is of significant importance in scientific imaging where a ground truth training set is not always feasible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google