Similarity of Neural Network Models: A Survey of Functional and Representational Measures

要約

ニューラル ネットワークの動作を理解して改善するために、ニューラル ネットワークの類似性を測定することは、非常に重要で研究上の関心のある問題となっています。
この調査では、ニューラル ネットワークの類似性を測定するための 2 つの相補的な観点の包括的な概要を提供します。(i) 中間層の活性化がどのように異なるかを考慮する表現的類似性と、(ii) モデルの出力がどのように異なるかを考慮する機能的類似性です。
既存の対策の詳細な説明に加えて、これらの対策の特性と間の関係に関する結果を要約して議論し、未解決の研究問題を指摘します。
私たちの研究が、ニューラル ネットワーク モデルの類似性尺度の特性と適用可能性に関するより体系的な研究の基礎となることを願っています。

要約(オリジナル)

Measuring similarity of neural networks to understand and improve their behavior has become an issue of great importance and research interest. In this survey, we provide a comprehensive overview of two complementary perspectives of measuring neural network similarity: (i) representational similarity, which considers how activations of intermediate layers differ, and (ii) functional similarity, which considers how models differ in their outputs. In addition to providing detailed descriptions of existing measures, we summarize and discuss results on the properties of and relationships between these measures, and point to open research problems. We hope our work lays a foundation for more systematic research on the properties and applicability of similarity measures for neural network models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google