Similarity of Neural Architectures Based on Input Gradient Transferability

要約

この論文では、2 つのニューラル アーキテクチャ間の定量的類似性関数を設計することを目的としています。
具体的には、入力勾配伝達性を使用してモデルの類似性を定義します。
2 つのネットワークの敵対的サンプルを生成し、互いの敵対的サンプルに対するネットワークの平均精度を測定します。
2 つのネットワークの相関性が高い場合、攻撃の伝達性が高くなり、類似性が高くなります。
類似度スコアを使用して、次の 2 つのトピックを調査します。(1) モデルの多様性に寄与するネットワーク コンポーネントはどれか。
(2) モデルの多様性は実際のシナリオにどのように影響しますか?
機能の重要度分析とクラスタリング分析を提供することで、最初の質問に答えます。
2 番目の質問は、モデル アンサンブルと知識の蒸留という 2 つの異なるシナリオによって検証されます。
私たちの調査結果は、モデルの多様性が、さまざまなニューラル アーキテクチャと相互作用する際に重要な役割を果たすことを示しています。
たとえば、多様性が高いほど、アンサンブルのパフォーマンスが向上することがわかりました。
また、教師と生徒のネットワークと蒸留パフォーマンスの関係は、教師と生徒のネットワークの基本アーキテクチャの選択に依存することもわかります。
私たちの分析ツールは、さまざまなニューラル アーキテクチャ間の違いの高レベルの理解と、複数のアーキテクチャを使用する際の実践的なガイダンスに役立つことを期待しています。

要約(オリジナル)

In this paper, we aim to design a quantitative similarity function between two neural architectures. Specifically, we define a model similarity using input gradient transferability. We generate adversarial samples of two networks and measure the average accuracy of the networks on adversarial samples of each other. If two networks are highly correlated, then the attack transferability will be high, resulting in high similarity. Using the similarity score, we investigate two topics: (1) Which network component contributes to the model diversity? (2) How does model diversity affect practical scenarios? We answer the first question by providing feature importance analysis and clustering analysis. The second question is validated by two different scenarios: model ensemble and knowledge distillation. Our findings show that model diversity takes a key role when interacting with different neural architectures. For example, we found that more diversity leads to better ensemble performance. We also observe that the relationship between teacher and student networks and distillation performance depends on the choice of the base architecture of the teacher and student networks. We expect our analysis tool helps a high-level understanding of differences between various neural architectures as well as practical guidance when using multiple architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google