Deep Continuous Networks

要約

CNNと生物学的視覚の計算モデルは、いくつかの基本原理を共有しており、研究の新たな道を開いた。しかし、従来のCNNアーキテクチャは、空間的・奥行き的に離散的な表現に基づいているため、連続的に変化する受容野のサイズや神経細胞応答のダイナミクスのような、生物学的複雑性のある側面に対応できず、実りある分野横断的研究が妨げられている。ここでは、空間的に連続なフィルタと、神経ODEの連続的な深さのフレームワークを組み合わせた深層連続ネットワーク（DCN）を提案する。これにより、学習中にフィルタの空間サポートを学習し、特徴マップの連続的な進化をモデル化することができ、DCNを生物モデルと密接に結びつけることができる。我々は、DCNが汎用性があり、標準的な画像分類や再構成の問題に非常に適用可能であることを示す。また、DCNによって学習されるスケール分布の生物学的妥当性を説明し、神経科学的な着想を得たパターン補完タスクにおける性能を探求する。最後に、入力コントラストを変化させることで、DCNの効率的な実装を検討する。

要約(オリジナル)

CNNs and computational models of biological vision share some fundamental principles, which opened new avenues of research. However, fruitful cross-field research is hampered by conventional CNN architectures being based on spatially and depthwise discrete representations, which cannot accommodate certain aspects of biological complexity such as continuously varying receptive field sizes and dynamics of neuronal responses. Here we propose deep continuous networks (DCNs), which combine spatially continuous filters, with the continuous depth framework of neural ODEs. This allows us to learn the spatial support of the filters during training, as well as model the continuous evolution of feature maps, linking DCNs closely to biological models. We show that DCNs are versatile and highly applicable to standard image classification and reconstruction problems, where they improve parameter and data efficiency, and allow for meta-parametrization. We illustrate the biological plausibility of the scale distributions learned by DCNs and explore their performance in a neuroscientifically inspired pattern completion task. Finally, we investigate an efficient implementation of DCNs by changing input contrast.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL