Distilling Knowledge into Quantum Vision Transformers for Biomedical Image Classification

要約

量子視力変圧器（QVITS）は、自己触媒メカニズム内の線形層をパラメーター化された量子ニューラルネットワーク（QNN）に置き換え、特徴表現を改善するための量子機械的特性を活用することにより、ビジョントランス（VITS）に基づいて構築されます。
このハイブリッドアプローチは、濃縮された特徴表現の結果としてモデルの複雑さが大幅に減少し、パラメーターが少ないため、優れたパフォーマンスを達成することを目的としています。
このホワイトペーパーでは、生物医学的画像分類のための新しいQVITモデルを提案し、さまざまなモダリティと分類タスクを網羅した、8つの多様なデータセットにわたる同等のVITに対するパフォーマンスを調査します。
ゼロから訓練されたモデルと、高品質の教師モデルからの知識蒸留（KD）を使用して事前に訓練されたモデルを評価します。
我々の発見は、QVITがゼロから訓練されたときに平均ROC AUC（0.863対0.846）と精度（0.710対0.687）を伴う同等のVITを上回ることを示しており、さらには複数のタスクで最先端の古典モデルと競合するが、GFLOPSおよび99.99％で89％削減されている一方で、最先端のクラシックモデルと競合することを示しています。
さらに、QVITとVITはKDに等しく反応し、QVITがモデルの複雑さを伴うトレーニング前のパフォーマンススケーリングを備えていることがわかります。
これは、コンピューター支援診断のためにQVITをKDで展開する有効性に関する最初の調査です。
私たちの結果は、生物医学的画像分析における量子機械学習（QML）の大きな可能性を強調しています。

要約(オリジナル)

Quantum vision transformers (QViTs) build on vision transformers (ViTs) by replacing linear layers within the self-attention mechanism with parameterised quantum neural networks (QNNs), harnessing quantum mechanical properties to improve feature representation. This hybrid approach aims to achieve superior performance, with significantly reduced model complexity as a result of the enriched feature representation, requiring fewer parameters. This paper proposes a novel QViT model for biomedical image classification and investigates its performance against comparable ViTs across eight diverse datasets, encompassing various modalities and classification tasks. We assess models trained from scratch and those pre-trained using knowledge distillation (KD) from high-quality teacher models. Our findings demonstrate that QViTs outperform comparable ViTs with average ROC AUC (0.863 vs 0.846) and accuracy (0.710 vs 0.687) when trained from scratch, and even compete with state-of-the-art classical models in multiple tasks, whilst being significantly more efficient (89% reduction in GFLOPs and 99.99% in parameter number). Additionally, we find that QViTs and ViTs respond equally well to KD, with QViT pre-training performance scaling with model complexity. This is the first investigation into the efficacy of deploying QViTs with KD for computer-aided diagnosis. Our results highlight the enormous potential of quantum machine learning (QML) in biomedical image analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google