Attention to detail: inter-resolution knowledge distillation

要約

デジタル病理学におけるギガピクセル画像用のコンピューター ビジョン ソリューションの開発は、スライド画像全体のサイズが大きいため、計算上の大幅な制限によって妨げられています。
特に、生検を高解像度でデジタル化するのは時間のかかるプロセスであり、画像の詳細が低下することで結果が悪化するため、これが必要となります。
この問題を軽減するために、最近の文献では、知識蒸留を使用して、画像解像度を下げた場合のモデルのパフォーマンスを向上させることが提案されています。
特に、最高倍率レベルで抽出されたソフト ラベルと特徴は、低倍率画像を入力として受け取るモデルに抽出されます。
ただし、このアプローチでは、分類プロセスで最も識別力の高い画像領域に関する情報を伝達することができず、解像度が低下すると情報が失われる可能性があります。
この研究では、トレーニング中にアテンション マップを組み込むことでこの情報を抽出することを提案します。
特に、私たちの定式化では、grad-CAM を介したターゲット クラスの顕著性マップを活用し、低解像度の Student モデルを Teacher 分布と一致するように導きます。これは、それらの間の l2 距離を最小限に抑えることによって行われます。
前立腺組織学画像グレーディングに関する包括的な実験により、提案されたアプローチが以前の文献と比較して、さまざまな画像解像度にわたってモデルのパフォーマンスが大幅に向上することが実証されました。

要約(オリジナル)

The development of computer vision solutions for gigapixel images in digital pathology is hampered by significant computational limitations due to the large size of whole slide images. In particular, digitizing biopsies at high resolutions is a time-consuming process, which is necessary due to the worsening results from the decrease in image detail. To alleviate this issue, recent literature has proposed using knowledge distillation to enhance the model performance at reduced image resolutions. In particular, soft labels and features extracted at the highest magnification level are distilled into a model that takes lower-magnification images as input. However, this approach fails to transfer knowledge about the most discriminative image regions in the classification process, which may be lost when the resolution is decreased. In this work, we propose to distill this information by incorporating attention maps during training. In particular, our formulation leverages saliency maps of the target class via grad-CAMs, which guides the lower-resolution Student model to match the Teacher distribution by minimizing the l2 distance between them. Comprehensive experiments on prostate histology image grading demonstrate that the proposed approach substantially improves the model performance across different image resolutions compared to previous literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google