A novel feature-scrambling approach reveals the capacity of convolutional neural networks to learn spatial relations

要約

畳み込みニューラル ネットワーク (CNN) は、オブジェクト認識を解決するための最も成功したコンピューター ビジョン システムの 1 つです。
さらに、CNN には、人間の脳における視覚的表現の性質を理解する上での主要な用途があります。
しかし、CNN が実際にどのように意思決定を行うか、内部表現の性質は何か、CNN の認識戦略が人間とどのように異なるかについては、まだよくわかっていません。
具体的には、CNN が主にオブジェクトの表面の規則性に依存しているのか、それとも人間と同様に特徴の空間配置を利用できるのかという問題について大きな議論があります。
ここでは、CNN が特徴の空間配置 (つまり、オブジェクトの部分) を使用してオブジェクトを分類するかどうかを明示的にテストするための、新しい特徴スクランブリング アプローチを開発します。
このアプローチを、CNN の有効な受容野サイズの体系的な操作と、認識可能な最小構成 (MIRC) 分析と組み合わせます。
以前の多くの文献とは対照的に、CNN が実際にオブジェクトの分類に比較的長距離の空間関係を使用できるという証拠を提供します。
さらに、CNN が空間関係を使用する範囲は、データセットに大きく依存します。
テクスチャ対スケッチ。
実際、CNN は異種データセット (ImageNet) 内の異なるクラスに対して異なる戦略を使用することさえあり、CNN が分類戦略の連続スペクトルを持っていることを示唆しています。
最後に、CNN が特徴の空間的配置を中間レベルの粒度までしか学習しないことを示します。これは、グローバル形状特徴ではなく中間形状特徴が、オブジェクト分類における感度と特異性の間の最適なトレードオフを提供することを示唆しています。
これらの結果は、CNN 表現の性質と、それらがオブジェクト分類のために特徴の空間配置にどの程度依存しているかについての新しい洞察を提供します。

要約(オリジナル)

Convolutional neural networks (CNNs) are one of the most successful computer vision systems to solve object recognition. Furthermore, CNNs have major applications in understanding the nature of visual representations in the human brain. Yet it remains poorly understood how CNNs actually make their decisions, what the nature of their internal representations is, and how their recognition strategies differ from humans. Specifically, there is a major debate about the question of whether CNNs primarily rely on surface regularities of objects, or whether they are capable of exploiting the spatial arrangement of features, similar to humans. Here, we develop a novel feature-scrambling approach to explicitly test whether CNNs use the spatial arrangement of features (i.e. object parts) to classify objects. We combine this approach with a systematic manipulation of effective receptive field sizes of CNNs as well as minimal recognizable configurations (MIRCs) analysis. In contrast to much previous literature, we provide evidence that CNNs are in fact capable of using relatively long-range spatial relationships for object classification. Moreover, the extent to which CNNs use spatial relationships depends heavily on the dataset, e.g. texture vs. sketch. In fact, CNNs even use different strategies for different classes within heterogeneous datasets (ImageNet), suggesting CNNs have a continuous spectrum of classification strategies. Finally, we show that CNNs learn the spatial arrangement of features only up to an intermediate level of granularity, which suggests that intermediate rather than global shape features provide the optimal trade-off between sensitivity and specificity in object classification. These results provide novel insights into the nature of CNN representations and the extent to which they rely on the spatial arrangement of features for object classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google