Neural Echos: Depthwise Convolutional Filters Replicate Biological Receptive Fields

要約

この研究では、深さ方向の畳み込みカーネルが哺乳類の網膜で観察される生物学的受容野の構造の複雑さを効果的に再現していることを示唆する証拠を提示します。
この証拠を実証するさまざまな最先端のモデルからトレーニングされたカーネルの分析を提供します。
この興味深い発見に触発されて、我々は生物学的受容野からインスピレーションを得た初期化スキームを提案します。
深さ方向の畳み込みを特徴とする複数の CNN アーキテクチャを使用した ImageNet データセットの実験分析では、生物学的に導出された重みで初期化された場合に学習モデルの精度が著​​しく向上することが明らかになりました。
これは、視覚処理システムの理解を深め、畳み込みネットワークの有効性を向上させる、生物学にインスピレーションを得た計算モデルの可能性の根底にあります。

要約(オリジナル)

In this study, we present evidence suggesting that depthwise convolutional kernels are effectively replicating the structural intricacies of the biological receptive fields observed in the mammalian retina. We provide analytics of trained kernels from various state-of-the-art models substantiating this evidence. Inspired by this intriguing discovery, we propose an initialization scheme that draws inspiration from the biological receptive fields. Experimental analysis of the ImageNet dataset with multiple CNN architectures featuring depthwise convolutions reveals a marked enhancement in the accuracy of the learned model when initialized with biologically derived weights. This underlies the potential for biologically inspired computational models to further our understanding of vision processing systems and to improve the efficacy of convolutional networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google