Similarity of Neural Architectures using Adversarial Attack Transferability

要約

近年、画像分類のために多くのディープ ニューラル アーキテクチャが開発されています。
それらが似ているのか、似ていないのか、そしてどのような要因がそれらの（非）類似性に寄与しているのかは依然として興味深い。
この問題に対処するために、ニューラル アーキテクチャ間の定量的かつスケーラブルな類似性尺度を設計することを目指しています。
我々は、敵対的攻撃の伝達可能性には、モデルの動作を理解するために広く使用されている入力勾配と決定境界に関連する情報が含まれているという観察に基づいて、攻撃伝達性による類似性 (SAT) を提案します。
この疑問に答えるために、私たちが提案した類似度関数を使用して、69 個の最先端の ImageNet 分類器に対して大規模な分析を実行しました。
さらに、モデルの類似性を利用して、モデルの多様性がモデルアンサンブルのパフォーマンス向上や特定の条件下での知識の蒸留につながるニューラルアーキテクチャ関連の現象を観察します。
私たちの結果は、異なるコンポーネントを備えた多様なニューラル アーキテクチャの開発がなぜ必要なのかについての洞察を提供します。

要約(オリジナル)

In recent years, many deep neural architectures have been developed for image classification. Whether they are similar or dissimilar and what factors contribute to their (dis)similarities remains curious. To address this question, we aim to design a quantitative and scalable similarity measure between neural architectures. We propose Similarity by Attack Transferability (SAT) from the observation that adversarial attack transferability contains information related to input gradients and decision boundaries widely used to understand model behaviors. We conduct a large-scale analysis on 69 state-of-the-art ImageNet classifiers using our proposed similarity function to answer the question. Moreover, we observe neural architecture-related phenomena using model similarity that model diversity can lead to better performance on model ensembles and knowledge distillation under specific conditions. Our results provide insights into why developing diverse neural architectures with distinct components is necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google