Robustness to distribution shifts of compressed networks for edge devices

要約

限られた計算リソースでエッジ デバイスに展開される効率的な DNN を開発する必要があります。
ただし、圧縮されたネットワークは、元のネットワークがトレーニングされるソース ドメインとは異なるターゲット ドメインで新しいタスクを実行することがよくあります。
ドメイン シフトと敵対的摂動という 2 種類のデータ分散シフトにおける圧縮ネットワークの堅牢性を調査することが重要です。
この研究では、圧縮モデルは元のネットワークよりも分布の変化に対する堅牢性が低いことを発見しました。
興味深いことに、大規模なネットワークは、小規模なネットワークと同様のサイズに圧縮された場合でも、小規模なネットワークよりも堅牢性を失う可能性が高くなります。
さらに、知識の蒸留によって得られたコンパクトなネットワークは、枝刈りされたネットワークよりも分布の変化に対してはるかに堅牢です。
最後に、トレーニング後の量子化は、分布シフトに対する大幅な堅牢性を実現するための信頼できる方法であり、堅牢性の点で枝刈りモデルと抽出モデルの両方を上回ります。

要約(オリジナル)

It is necessary to develop efficient DNNs deployed on edge devices with limited computation resources. However, the compressed networks often execute new tasks in the target domain, which is different from the source domain where the original network is trained. It is important to investigate the robustness of compressed networks in two types of data distribution shifts: domain shifts and adversarial perturbations. In this study, we discover that compressed models are less robust to distribution shifts than their original networks. Interestingly, larger networks are more vulnerable to losing robustness than smaller ones, even when they are compressed to a similar size as the smaller networks. Furthermore, compact networks obtained by knowledge distillation are much more robust to distribution shifts than pruned networks. Finally, post-training quantization is a reliable method for achieving significant robustness to distribution shifts, and it outperforms both pruned and distilled models in terms of robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google