Quantization Effects on Neural Networks Perception: How would quantization change the perceptual field of vision models?

要約

ニューラル ネットワークの量子化は、リソースが限られたデバイスにモデルを展開するための重要な手法です。
量子化は広く使用されているにもかかわらず、特にクラス活性化マップ (CAM) に関連した、モデルの知覚フィールドに対する量子化の影響はまだ調査されていません。
この研究では、さまざまなアーキテクチャにわたる CAM と視覚的顕著なオブジェクト マップ間の位置合わせを調べることにより、量子化が視覚モデルの空間認識能力にどのような影響を与えるかを調査します。
ImageNet からの 10,000 枚の画像のデータセットを利用して、VGG16、ResNet50、EfficientNet、MobileNet、SqueezeNet、DenseNet の 6 つの多様な CNN アーキテクチャの包括的な評価を実施します。
量子化技術を体系的に適用することで、CAM の微妙な変化と、顕著なオブジェクト マップとの位置合わせを特定します。
私たちの結果は、これらのアーキテクチャの量子化に対する感度の違いを実証し、現実世界のアプリケーションにおけるモデルのパフォーマンスと解釈可能性に対するその影響を強調しています。
この研究は主にニューラル ネットワークの量子化についての理解を深めることに貢献し、効率的で解釈可能なモデルを実際の設定に展開するために不可欠な洞察を提供します。

要約(オリジナル)

Neural network quantization is a critical technique for deploying models on resource-limited devices. Despite its widespread use, the impact of quantization on model perceptual fields, particularly in relation to class activation maps (CAMs), remains underexplored. This study investigates how quantization influences the spatial recognition abilities of vision models by examining the alignment between CAMs and visual salient objects maps across various architectures. Utilizing a dataset of 10,000 images from ImageNet, we conduct a comprehensive evaluation of six diverse CNN architectures: VGG16, ResNet50, EfficientNet, MobileNet, SqueezeNet, and DenseNet. Through the systematic application of quantization techniques, we identify subtle changes in CAMs and their alignment with Salient object maps. Our results demonstrate the differing sensitivities of these architectures to quantization and highlight its implications for model performance and interpretability in real-world applications. This work primarily contributes to a deeper understanding of neural network quantization, offering insights essential for deploying efficient and interpretable models in practical settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google