Connecting metrics for shape-texture knowledge in computer vision

要約

畳み込みニューラル ネットワークやビジョン トランスフォーマーなどの最新の人工ニューラル ネットワークは、オブジェクト認識など、いくつかのコンピューター ビジョン タスクを習得しています。
ただし、これらのシステムと人間の視覚システムの動作と堅牢性には、多くの重要な違いがあります。
ディープ ニューラル ネットワークは依然として脆く、人間が画像を誤分類する原因とならない画像の多くの変更の影響を受けやすいままです。
この異なる動作の一部は、視覚タスクで人間とディープ ニューラル ネットワークが使用する機能の種類によって説明される可能性があります。
人間は形状に基づいてオブジェクトを分類する傾向がありますが、ディープ ニューラル ネットワークは主にテクスチャに依存しているようです。
この問題を調査することは、ニューラル ネットワーク アーキテクチャのパフォーマンスを向上させ、霊長類の視覚システムの仕組みをよりよく理解することにつながる可能性があるため、重要です。
この作業では、以前の分析をはるかに大きな一連のディープ ニューラル ネットワーク アーキテクチャに拡張することにより、この現象の理解における最先端の技術を進歩させます。
画像分類タスクにおけるモデルのパフォーマンスは、出力層と最後から 2 番目の層で測定された形状バイアスと高度に相関することがわかりました。
さらに、私たちの結果は、形状とテクスチャを表すニューロンの数が強く反相関していることを示しており、これら 2 種類の特徴の間に競合があるという証拠を提供しています。
最後に、パフォーマンスとシェイプ バイアスの間には一般的に相関関係がありますが、アーキテクチャ ファミリ間には大きな違いがあることがわかりました。

要約(オリジナル)

Modern artificial neural networks, including convolutional neural networks and vision transformers, have mastered several computer vision tasks, including object recognition. However, there are many significant differences between the behavior and robustness of these systems and of the human visual system. Deep neural networks remain brittle and susceptible to many changes in the image that do not cause humans to misclassify images. Part of this different behavior may be explained by the type of features humans and deep neural networks use in vision tasks. Humans tend to classify objects according to their shape while deep neural networks seem to rely mostly on texture. Exploring this question is relevant, since it may lead to better performing neural network architectures and to a better understanding of the workings of the vision system of primates. In this work, we advance the state of the art in our understanding of this phenomenon, by extending previous analyses to a much larger set of deep neural network architectures. We found that the performance of models in image classification tasks is highly correlated with their shape bias measured at the output and penultimate layer. Furthermore, our results showed that the number of neurons that represent shape and texture are strongly anti-correlated, thus providing evidence that there is competition between these two types of features. Finally, we observed that while in general there is a correlation between performance and shape bias, there are significant variations between architecture families.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google