Cross Attention Transformers for Multi-modal Unsupervised Whole-Body PET Anomaly Detection

要約

タイトル: クロスアテンショントランスフォーマーを用いたマルチモーダル非教師付き全身PET異常検出
要約:
– PET画像は高い感度と代謝活動のパターンの明確な視覚化のためにがん検出に使用される。しかし、がんは非常に異質で一般的ながん検出モデルを訓練することは困難である。
– 非教師付き異常検出モデルは解決策として提案されており、健康な組織の表現を学習し、健康なノルムとの逸脱を予測してがんを検出する。しかし、この検出には、高い表現力を持ち、臓器間の長距離相互作用を正確に学習できるモデルが必要である。
– この論文では、教師なし異常検出においてトランスフォーマーが最先端の結果を生成することが示されており、マルチモーダル畳み込みニューラルネットワークを導入して、異なるモダリティの情報を取り込めることが示されている。
– 本研究は、PET画像に加えて、CT画像による解剖学的リファレンスを提供することによって、異常検出アルゴリズムを改善することを目的としている。
– 本手法は294枚の全身PET/CTサンプルを用いて検証され、正常なトレーニングデータが利用できない場合でも正確ながんの局在化結果を達成できることが示されている。
– さらに、限られたトレーニングデータでも汎用性があり、外部のサンプルでも高い検出精度で正確に検出できることが示されている。
– 最後に、本手法に新しいカーネル密度推定手法を組み合わせることによって、分類端末の不確実性を統合する方法を提案し、従来の残差ベースの異常マップと比較して臨床的に有意であることが示されている。
– 総合的に、この手法は既存の他の手法よりも優れた性能を示しており、その潜在的な可能性に注目を集めている。

要約(オリジナル)

Cancer is a highly heterogeneous condition that can occur almost anywhere in the human body. 18F-fluorodeoxyglucose is an imaging modality commonly used to detect cancer due to its high sensitivity and clear visualisation of the pattern of metabolic activity. Nonetheless, as cancer is highly heterogeneous, it is challenging to train general-purpose discriminative cancer detection models, with data availability and disease complexity often cited as a limiting factor. Unsupervised anomaly detection models have been suggested as a putative solution. These models learn a healthy representation of tissue and detect cancer by predicting deviations from the healthy norm, which requires models capable of accurately learning long-range interactions between organs and their imaging patterns with high levels of expressivity. Such characteristics are suitably satisfied by transformers, which have been shown to generate state-of-the-art results in unsupervised anomaly detection by training on normal data. This work expands upon such approaches by introducing multi-modal conditioning of the transformer via cross-attention i.e. supplying anatomical reference from paired CT. Using 294 whole-body PET/CT samples, we show that our anomaly detection method is robust and capable of achieving accurate cancer localization results even in cases where normal training data is unavailable. In addition, we show the efficacy of this approach on out-of-sample data showcasing the generalizability of this approach with limited training data. Lastly, we propose to combine model uncertainty with a new kernel density estimation approach, and show that it provides clinically and statistically significant improvements when compared to the classic residual-based anomaly maps. Overall, a superior performance is demonstrated against leading state-of-the-art alternatives, drawing attention to the potential of these approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI