Explicitly Modeling Subcortical Vision with a Neuro-Inspired Front-End Improves CNN Robustness

要約

物体認識のために訓練された畳み込みニューラルネットワーク（CNN）は、高いタスク性能を達成するが、生物学的視覚と比較すると、様々な視覚的摂動や領域外の画像の下で脆弱性を示し続ける。先行研究では、標準的なCNNと、霊長類の一次視覚野（V1）を模倣したフロントエンド・ブロック（VOneBlock）を結合することで、モデル全体の頑健性が向上することが実証されている。VOneBlockのアーキテクチャは神経科学の計算モデルに由来しており、複数の実験的研究によって報告された皮質下反応との整合を最大化するようにパラメータ化されている。最適化されていなくても、SubcorticalBlockとVOneBlockを組み合わせることで、ほとんどの標準的なV1ベンチマークでV1アライメントが改善され、クラス外受容野現象がよりよくモデル化された。さらに、EVNetsはより強い出現形状バイアスを示し、敵対的摂動、一般的な破損、ドメインシフトを含む頑健性評価の総合ベンチマークで、基本CNNアーキテクチャを8.5%上回る。最後に、EVNetsを最新のデータ増強技術と組み合わせることで、EVNetsがさらに改善されることを示し、頑健性ベンチマークにおいて、単独のデータ増強アプローチの性能を7.3%上回る。この結果は、生物学をよりよく模倣するためのアーキテクチャの変更と、訓練ベースの機械学習アプローチとの間の相補的な利点を明らかにしている。

要約(オリジナル)

Convolutional neural networks (CNNs) trained on object recognition achieve high task performance but continue to exhibit vulnerability under a range of visual perturbations and out-of-domain images, when compared with biological vision. Prior work has demonstrated that coupling a standard CNN with a front-end block (VOneBlock) that mimics the primate primary visual cortex (V1) can improve overall model robustness. Expanding on this, we introduce Early Vision Networks (EVNets), a new class of hybrid CNNs that combine the VOneBlock with a novel SubcorticalBlock, whose architecture draws from computational models in neuroscience and is parameterized to maximize alignment with subcortical responses reported across multiple experimental studies. Without being optimized to do so, the assembly of the SubcorticalBlock with the VOneBlock improved V1 alignment across most standard V1 benchmarks, and better modeled extra-classical receptive field phenomena. In addition, EVNets exhibit stronger emergent shape bias and overperform the base CNN architecture by 8.5% on an aggregate benchmark of robustness evaluations, including adversarial perturbations, common corruptions, and domain shifts. Finally, we show that EVNets can be further improved when paired with a state-of-the-art data augmentation technique, surpassing the performance of the isolated data augmentation approach by 7.3% on our robustness benchmark. This result reveals complementary benefits between changes in architecture to better mimic biology and training-based machine learning approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL