Model Stitching: Looking For Functional Similarity Between Representations

要約

モデル スティッチング (Lenc & Vedaldi 2015) は、異なるニューラル ネットワーク表現を比較するための説得力のある方法論です。
Bansal、Nakkiran、Barak による以前の研究を拡張します。モデル スティッチングを使用して、同じアーキテクチャの異なるシードおよび/またはトレーニングされたニューラル ネットワークによって学習された同じ形状の表現を比較しました。
私たちの貢献により、レイヤーによって学習された表現を、さまざまなアーキテクチャのニューラル ネットワークからさまざまな形状と比較することができます。
その後、モデル スティッチングの予期しない動作を明らかにします。
つまり、小さな ResNet の畳み込みに基づくスティッチングは、これらのレイヤーが 2 番目のネットワーク (受信側) よりも最初のネットワーク (送信側) で後に来る場合、それらのレイヤーが遠く離れていても、高い精度を達成できることがわかります。

要約(オリジナル)

Model stitching (Lenc & Vedaldi 2015) is a compelling methodology to compare different neural network representations, because it allows us to measure to what degree they may be interchanged. We expand on a previous work from Bansal, Nakkiran & Barak which used model stitching to compare representations of the same shapes learned by differently seeded and/or trained neural networks of the same architecture. Our contribution enables us to compare the representations learned by layers with different shapes from neural networks with different architectures. We subsequently reveal unexpected behavior of model stitching. Namely, we find that stitching, based on convolutions, for small ResNets, can reach high accuracy if those layers come later in the first (sender) network than in the second (receiver), even if those layers are far apart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google