Student Collaboration Improves Self-Supervised Learning: Dual-Loss Adaptive Masked Autoencoder for Multiplexed Immunofluorescence Brain Images Analysis

要約

自己教師あり学習 (SSL) は、基礎となるデータ構造を活用して、ディープ ネットワークをトレーニングするための監視信号を生成します。
このアプローチは、データが人間の専門家の注釈よりも多くの場合、多重免疫蛍光脳画像で学習するための実用的なソリューションを提供します。
対照学習と画像再構成に基づく SSL アルゴリズムは、印象的なパフォーマンスを示しています。
残念ながら、これらの方法は、主に生物医学画像ではなく自然画像で設計および検証されています。
最近のいくつかの研究では、SSL を細胞画像の分析に適用しています。
ただし、これらの作品のいずれも、多重免疫蛍光脳画像の SSL を研究していません。
これらの研究は、特定の SSL 方式を採用するための明確な理論的正当化も提供しませんでした。
これらの制限に動機付けられて、私たちの論文は、情報理論の観点から開発された自己教師付き Dual-Loss Adaptive Masked Autoencoder (DAMA) アルゴリズムを提示します。
DAMA の目的関数は、ピクセル レベルの再構成と特徴レベルの回帰で条件付きエントロピーを最小化することにより、相互情報量を最大化します。
さらに、DAMA は、相互情報を最大化し、脳細胞データのコンテキスト情報を効果的に学習するための新しい適応マスク サンプリング戦略を導入します。
初めて、多重免疫蛍光脳画像でSSLアルゴリズムの広範な比較を提供します。
私たちの結果は、細胞の分類およびセグメンテーションタスクにおいて、DAMA が他の SSL アプローチよりも優れていることを示しています。
DAMA は、ImageNet-1k でも競争力のある精度を達成しています。
DAMA のソース コードは、https://github.com/hula-ai/DAMA で公開されています。

要約(オリジナル)

Self-supervised learning (SSL) leverages the underlying data structure to generate supervisory signals for training deep networks. This approach offers a practical solution for learning with multiplexed immunofluorescence brain images where data are often more abundant than human expert annotations. SSL algorithms based on contrastive learning and image reconstruction have demonstrated impressive performances. Unfortunately, these methods were designed and validated mostly on natural images rather than biomedical images. A few recent works have applied SSL to analyzing cell images. However, none of these works studies SSL for multiplexed immunofluorescence brain images. These works also did not provide a clear theoretical justification for adopting a specific SSL method. Motivated by these limitations, our paper presents a self-supervised Dual-Loss Adaptive Masked Autoencoder (DAMA) algorithm developed from the information theory viewpoint. DAMA’s objective function maximizes the mutual information by minimizing the conditional entropy in pixel-level reconstruction and feature-level regression. In addition, DAMA introduces a novel adaptive mask sampling strategy to maximize mutual information and effectively learn brain cell data contextual information. For the first time, we provide extensive comparisons of SSL algorithms on multiplexed immunofluorescence brain images. Our results demonstrate that DAMA is superior to other SSL approaches on cell classification and segmentation tasks. DAMA also achieves competitive accuracies on ImageNet-1k. The source code for DAMA is made publicly available at https://github.com/hula-ai/DAMA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google