Finding Closure: A Closer Look at the Gestalt Law of Closure in Convolutional Neural Networks

要約

人間の脳には、たとえ部分が欠落していたり​​断片化されている場合でも、図を完全な全体として認識するためにギャップを埋める固有の能力があります。
この現象は、心理学ではクロージャーとして知られており、人間の脳が視覚刺激をどのように解釈するかを説明する、知覚組織化のゲシュタルト法則の 1 つです。
人体認識におけるクロージャの重要性を考慮して、ニューラル ネットワークが同様のメカニズムに依存しているかどうかを調査します。
この重要な人間の視覚スキルをニューラル ネットワークで探求すると、ニューラル ネットワークが人間と同等であることが浮き彫りになる可能性があります。
最近の研究では、ニューラル ネットワークにおけるクロージャー効果が調査されています。
ただし、彼らは通常、限られた畳み込みニューラル ネットワーク (CNN) に焦点を当てており、クロージャを実行する機能については合意に達していません。
これらのギャップに対処するために、ニューラル ネットワークのクロージャー原理を調査するための体系的なフレームワークを紹介します。
モーダル補完とアモーダル補完の両方を含むクロージャー効果をテストするために設計された、厳選されたデータセットを紹介します。
次に、さまざまな測定を使用してさまざまな CNN で実験を行います。
私たちの包括的な分析により、VGG16 と DenseNet-121 はクロージャー効果を示す一方で、他の CNN は変動する結果を示すことが明らかになりました。
私たちは心理学とニューラル ネットワーク研究からの洞察を融合することでこれらの発見を解釈し、ニューラル ネットワークを理解する際の透明性を高める独自の視点を提供します。
私たちのコードとデータセットは GitHub で利用できるようになります。

要約(オリジナル)

The human brain has an inherent ability to fill in gaps to perceive figures as complete wholes, even when parts are missing or fragmented. This phenomenon is known as Closure in psychology, one of the Gestalt laws of perceptual organization, explaining how the human brain interprets visual stimuli. Given the importance of Closure for human object recognition, we investigate whether neural networks rely on a similar mechanism. Exploring this crucial human visual skill in neural networks has the potential to highlight their comparability to humans. Recent studies have examined the Closure effect in neural networks. However, they typically focus on a limited selection of Convolutional Neural Networks (CNNs) and have not reached a consensus on their capability to perform Closure. To address these gaps, we present a systematic framework for investigating the Closure principle in neural networks. We introduce well-curated datasets designed to test for Closure effects, including both modal and amodal completion. We then conduct experiments on various CNNs employing different measurements. Our comprehensive analysis reveals that VGG16 and DenseNet-121 exhibit the Closure effect, while other CNNs show variable results. We interpret these findings by blending insights from psychology and neural network research, offering a unique perspective that enhances transparency in understanding neural networks. Our code and dataset will be made available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google