The Master Key Filters Hypothesis: Deep Filters Are General

要約

本論文では、畳み込みニューラルネットワーク（CNN）フィルターは、より深い層でますます特化されていくという一般的な見方に挑戦する。ImageNet上で訓練された深層分離可能なCNN（DS-CNN）におけるクラスタ化可能な繰り返しパターンの最近の観察に動機づけられ、我々は様々なドメインとデータセットにわたってこの調査を拡張する。DS-CNNの分析により、深層フィルタは一般性を維持することが明らかになった。異なるデータセットで学習されたモデルの凍結されたフィルターが良好に機能し、より大規模なデータセットから供給されるとさらに改善されることを示し、転移学習実験を通じてこれらのフィルターの汎用性を実証する。我々の発見は、深さ方向に分離可能な畳み込みによって学習された空間的特徴は、全てのレイヤー、ドメイン、アーキテクチャにわたって汎用的であり続けることを示している。本研究は、ニューラルネットワーク、特にDS-CNNにおける汎化の性質について新たな洞察を提供し、転移学習とモデル設計に重要な示唆を与える。

要約(オリジナル)

This paper challenges the prevailing view that convolutional neural network (CNN) filters become increasingly specialized in deeper layers. Motivated by recent observations of clusterable repeating patterns in depthwise separable CNNs (DS-CNNs) trained on ImageNet, we extend this investigation across various domains and datasets. Our analysis of DS-CNNs reveals that deep filters maintain generality, contradicting the expected transition to class-specific filters. We demonstrate the generalizability of these filters through transfer learning experiments, showing that frozen filters from models trained on different datasets perform well and can be further improved when sourced from larger datasets. Our findings indicate that spatial features learned by depthwise separable convolutions remain generic across all layers, domains, and architectures. This research provides new insights into the nature of generalization in neural networks, particularly in DS-CNNs, and has significant implications for transfer learning and model design.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL