AMAE: Adaptation of Pre-Trained Masked Autoencoder for Dual-Distribution Anomaly Detection in Chest X-Rays

要約

胸部 X 線写真などの医療画像における教師なし異常検出は、労働集約的でコストのかかる専門家による異常データの注釈の不足を軽減するため、脚光を浴びています。
ただし、ほとんどすべての既存の手法は、通常のクラスの表現のみでトレーニングされた 1 クラス分類として定式化されており、ラベルのないデータの潜在的に重要な部分は破棄されます。
このペーパーでは、通常画像とラベルなし画像の両方を含むトレーニング データ全体を使用した、より実用的な設定である胸部 X 線の二重分布異常検出に焦点を当てています。
欠落した画像領域を再構築するために部分画像入力を使用してトレーニングされた最新の自己教師ありビジョン トランスフォーマー モデルに触発され、事前トレーニングされたマスク オートエンコーダー (MAE) を適応させるための 2 段階アルゴリズムである AMAE を提案します。
MAE の初期化から始まり、AMAE はまず通常のトレーニング画像のみから合成異常を作成し、凍結されたトランスフォーマーの特徴で軽量の分類器をトレーニングします。
続いて、異常を含むラベルのない画像を活用するための適応戦略を提案します。
この適応スキームは、ラベルのない画像に擬似ラベルを割り当て、2 つの別個の MAE ベースのモジュールを使用して擬似ラベル付き画像の標準分布と異常分布をモデル化することによって実現されます。
提案された適応戦略の有効性は、ラベルなしのトレーニング セット内のさまざまな異常率を使用して評価されます。
AMAE は、競合する自己監視型および二重分布異常検出方式と比べて一貫したパフォーマンスの向上をもたらし、RSNA、NIH-CXR、VinDr-CXR という 3 つの公開胸部 X 線ベンチマークで新しい最先端を確立します。

要約(オリジナル)

Unsupervised anomaly detection in medical images such as chest radiographs is stepping into the spotlight as it mitigates the scarcity of the labor-intensive and costly expert annotation of anomaly data. However, nearly all existing methods are formulated as a one-class classification trained only on representations from the normal class and discard a potentially significant portion of the unlabeled data. This paper focuses on a more practical setting, dual distribution anomaly detection for chest X-rays, using the entire training data, including both normal and unlabeled images. Inspired by a modern self-supervised vision transformer model trained using partial image inputs to reconstruct missing image regions — we propose AMAE, a two-stage algorithm for adaptation of the pre-trained masked autoencoder (MAE). Starting from MAE initialization, AMAE first creates synthetic anomalies from only normal training images and trains a lightweight classifier on frozen transformer features. Subsequently, we propose an adaptation strategy to leverage unlabeled images containing anomalies. The adaptation scheme is accomplished by assigning pseudo-labels to unlabeled images and using two separate MAE based modules to model the normative and anomalous distributions of pseudo-labeled images. The effectiveness of the proposed adaptation strategy is evaluated with different anomaly ratios in an unlabeled training set. AMAE leads to consistent performance gains over competing self-supervised and dual distribution anomaly detection methods, setting the new state-of-the-art on three public chest X-ray benchmarks: RSNA, NIH-CXR, and VinDr-CXR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google