Augmented Equivariant Attention Networks for Microscopy Image Reconstruction

要約

高品質または高解像度の電子顕微鏡（EM）および蛍光顕微鏡（FM）画像を撮影するには、時間と費用がかかります。
これらの画像を撮影すると、サンプルに侵入する可能性があり、長時間または強烈な露出の後にサンプルの特定の微妙な部分を損傷する可能性があります。これは、最初に高品質または高解像度を達成するために必要なことがよくあります。
ディープラーニングの進歩により、さまざまなタイプの顕微鏡画像再構成のための画像から画像への変換タスクを実行し、物理的に取得した低品質の画像から高品質の画像を計算で生成できるようになりました。
実験的に取得した顕微鏡画像のペアで画像から画像への変換モデルをトレーニングする場合、以前のモデルは、画像間の依存関係や画像間で共有される共通の機能をキャプチャできないため、パフォーマンスが低下します。
画像分類タスクで共有機能を利用する既存の方法は、画像から画像への変換に不可欠な空間的順列の下での同変特性を維持できないため、画像再構成タスクに適切に適用できません。
これらの制限に対処するために、同変特性を維持しながら、画像間の依存関係をキャプチャするためのより優れた機能を備えた拡張同変注意ネットワーク（AEANets）を提案します。
提案されたAEANetsは、注意メカニズムの2つの拡張機能、つまり共有参照とトレーニング中のバッチ認識注意を介して、画像間の依存関係と共有機能をキャプチャします。
提案された拡張注意モデルの同変特性を理論的に導き出し、ベースライン法に対する定量的および視覚的結果の両方でその一貫した優位性を実験的に示します。

要約(オリジナル)

It is time-consuming and expensive to take high-quality or high-resolution electron microscopy (EM) and fluorescence microscopy (FM) images. Taking these images could be even invasive to samples and may damage certain subtleties in the samples after long or intense exposures, often necessary for achieving high-quality or high resolution in the first place. Advances in deep learning enable us to perform image-to-image transformation tasks for various types of microscopy image reconstruction, computationally producing high-quality images from the physically acquired low-quality ones. When training image-to-image transformation models on pairs of experimentally acquired microscopy images, prior models suffer from performance loss due to their inability to capture inter-image dependencies and common features shared among images. Existing methods that take advantage of shared features in image classification tasks cannot be properly applied to image reconstruction tasks because they fail to preserve the equivariance property under spatial permutations, something essential in image-to-image transformation. To address these limitations, we propose the augmented equivariant attention networks (AEANets) with better capability to capture inter-image dependencies, while preserving the equivariance property. The proposed AEANets captures inter-image dependencies and shared features via two augmentations on the attention mechanism, which are the shared references and the batch-aware attention during training. We theoretically derive the equivariance property of the proposed augmented attention model and experimentally demonstrate its consistent superiority in both quantitative and visual results over the baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google