SEDA: Self-Ensembling ViT with Defensive Distillation and Adversarial Training for robust Chest X-rays Classification

要約

深層学習手法は、最近、医療画像アプリケーションでの採用が増加しています。
ただし、最近のディープ ラーニング ソリューションでは高度な脆弱性が調査されており、将来の導入を妨げる可能性があります。
特に、敵対的攻撃、プライバシー攻撃、機密性攻撃に対する Vision Transformer (ViT) の脆弱性により、医療現場での信頼性について深刻な懸念が生じています。
この研究は、結核胸部 X 線分類タスクに対する自己アンサンブル ViT の堅牢性を強化することを目的としています。
私たちは、防御的蒸留と敵対的トレーニング (SEDA) を備えた自己アンサンブル ViT を提案します。
SEDA は、効率的な CNN ブロックを利用して、中間 ViT ブロックから抽出された特徴表現からさまざまな抽象化レベルで空間特徴を学習します。空間特徴は、敵対的な摂動の影響をほとんど受けません。
さらに、SEDA は、敵対者に対する堅牢性を向上させるために、防御的蒸留と組み合わせて敵対的トレーニングを活用します。
敵対的な例を使用したトレーニングにより、モデルの一般化性が向上し、摂動を処理する能力が向上します。
ソフト確率を使用した蒸留では、出力確率に不確実性と変動が導入され、敵対的攻撃やプライバシー攻撃がより困難になります。
公開されている結核 X 線データセットに対して、提案されたアーキテクチャとトレーニング パラダイムを使用して実行された広範な実験により、70 倍軽量なフレームワークと +9% 強化されたロバスト性による計算効率の点で、SEViT と比較した SEDA の SOTA 有効性が示されました。

要約(オリジナル)

Deep Learning methods have recently seen increased adoption in medical imaging applications. However, elevated vulnerabilities have been explored in recent Deep Learning solutions, which can hinder future adoption. Particularly, the vulnerability of Vision Transformer (ViT) to adversarial, privacy, and confidentiality attacks raise serious concerns about their reliability in medical settings. This work aims to enhance the robustness of self-ensembling ViTs for the tuberculosis chest x-ray classification task. We propose Self-Ensembling ViT with defensive Distillation and Adversarial training (SEDA). SEDA utilizes efficient CNN blocks to learn spatial features with various levels of abstraction from feature representations extracted from intermediate ViT blocks, that are largely unaffected by adversarial perturbations. Furthermore, SEDA leverages adversarial training in combination with defensive distillation for improved robustness against adversaries. Training using adversarial examples leads to better model generalizability and improves its ability to handle perturbations. Distillation using soft probabilities introduces uncertainty and variation into the output probabilities, making it more difficult for adversarial and privacy attacks. Extensive experiments performed with the proposed architecture and training paradigm on publicly available Tuberculosis x-ray dataset shows SOTA efficacy of SEDA compared to SEViT in terms of computational efficiency with 70x times lighter framework and enhanced robustness of +9%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google