Harmonizing the object recognition strategies of deep neural networks with humans

要約

過去 10 年間のディープ ニューラル ネットワーク (DNN) の多くの成功は、主に生物学的知性からの洞察ではなく、計算規模によって推進されてきました。
ここでは、これらの傾向が、人間が物体認識に依存する視覚戦略を説明する上で付随する改善ももたらしているかどうかを調べます。
これは、人間と DNN の視覚戦略の 2 つの関連するが異なる特性を比較することによって行います。重要な視覚的特徴が画像のどこにあると考えられているか、およびそれらの特徴を使用してオブジェクトを分類する方法です。
ImageNet でトレーニングされた 84 の異なる DNN と、それらの画像に対する人間の視覚戦略の場所と方法を測定する 3 つの独立したデータセット全体で、DNN 分類の精度と人間の視覚戦略との整合性との間に体系的なトレードオフがあることがわかりました。
最先端の DNN は、精度が向上するにつれて、人間との整合性が徐々に低下しています。
この増大する問題をニューラル ハーモナイザーで修正します。これは、DNN と人間の視覚戦略の両方を調整し、分類の精度を向上させる汎用トレーニング ルーチンです。
私たちの研究は、今日の DNN の設計を導いているスケーリングの法則が、人間の視覚のより悪いモデルも生み出しているという最初の実証を表しています。
私たちはコードとデータを https://serre-lab.github.io/Harmonization でリリースし、フィールドがより人間に近い DNN を構築できるようにします。

要約(オリジナル)

The many successes of deep neural networks (DNNs) over the past decade have largely been driven by computational scale rather than insights from biological intelligence. Here, we explore if these trends have also carried concomitant improvements in explaining the visual strategies humans rely on for object recognition. We do this by comparing two related but distinct properties of visual strategies in humans and DNNs: where they believe important visual features are in images and how they use those features to categorize objects. Across 84 different DNNs trained on ImageNet and three independent datasets measuring the where and the how of human visual strategies for object recognition on those images, we find a systematic trade-off between DNN categorization accuracy and alignment with human visual strategies for object recognition. State-of-the-art DNNs are progressively becoming less aligned with humans as their accuracy improves. We rectify this growing issue with our neural harmonizer: a general-purpose training routine that both aligns DNN and human visual strategies and improves categorization accuracy. Our work represents the first demonstration that the scaling laws that are guiding the design of DNNs today have also produced worse models of human vision. We release our code and data at https://serre-lab.github.io/Harmonization to help the field build more human-like DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google