Position-Guided Prompt Learning for Anomaly Detection in Chest X-Rays

要約

胸部 X 線検査での異常検出は重要なタスクです。
ほとんどの手法は主に正規画像の分布をモデル化し、正規分布からの大幅な逸脱を異常とみなします。
最近では、多数の医療画像で事前トレーニングされた CLIP ベースの手法が、ショット数がゼロまたは少数のダウンストリーム タスクで優れたパフォーマンスを示しています。
この論文では、胸部 X 線写真の異常検出における CLIP ベースの手法の可能性を探ることを目的としています。
CLIPの事前トレーニングデータとタスク固有のデータ間の不一致を考慮して、位置ガイドによる即時学習方法を提案します。
具体的には、専門家が明確な肺領域を注意深く検査することによって胸部 X 線写真を診断するという事実に触発され、学習可能な位置ガイド付きテキストと画像プロンプトを提案して、タスク データを事前にトレーニングされた凍結済みの CLIP ベース モデルに適応させます。
モデルの識別能力を強化するために、トレーニング プロセス中に胸部 X 線内で新しい構造を保存する異常合成方法を提案します。
3 つのデータセットに対する広範な実験により、私たちが提案した方法がいくつかの最先端の方法よりも優れていることが実証されました。
実装のコードは https://github.com/sunzc-sunny/PPAD で入手できます。

要約(オリジナル)

Anomaly detection in chest X-rays is a critical task. Most methods mainly model the distribution of normal images, and then regard significant deviation from normal distribution as anomaly. Recently, CLIP-based methods, pre-trained on a large number of medical images, have shown impressive performance on zero/few-shot downstream tasks. In this paper, we aim to explore the potential of CLIP-based methods for anomaly detection in chest X-rays. Considering the discrepancy between the CLIP pre-training data and the task-specific data, we propose a position-guided prompt learning method. Specifically, inspired by the fact that experts diagnose chest X-rays by carefully examining distinct lung regions, we propose learnable position-guided text and image prompts to adapt the task data to the frozen pre-trained CLIP-based model. To enhance the model’s discriminative capability, we propose a novel structure-preserving anomaly synthesis method within chest x-rays during the training process. Extensive experiments on three datasets demonstrate that our proposed method outperforms some state-of-the-art methods. The code of our implementation is available at https://github.com/sunzc-sunny/PPAD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google