Beyond Accuracy: Uncovering the Role of Similarity Perception and its Alignment with Semantics in Supervised Learning

要約

類似性は、特に重要なセマンティックな類似性を含むさまざまな形で現れ、例えば、。
共有機能と進化的特性。
また、一定で解釈可能な類似性を備えたWordNetなどの語彙構造を介した計算モデリングにおける実用的な利点も提供します。
ディープビジョンの領域のように、類似性知覚の出現に関する現象にまだ十分な焦点がありません。
Deep Simpality Inspector（DSI）を紹介します。これは、ディープビジョンネットワークが類似性の知覚とセマンティックな類似性との整合性をどのように発展させるかを調べるための体系的なフレームワークです。
我々の実験は、3つのフェーズ（初期類似性の急増、洗練、安定化）でのトレーニング中に、CNNとVITの明確な違いを伴うトレーニング中に、畳み込みニューラルネットワーク（CNNS）と視覚変圧器（VITS）の両方が豊富な類似性認識を発達させることを示しています。
漸進的な間違いの排除に加えて、間違いの洗練現象を観察することができます。

要約(オリジナル)

Similarity manifests in various forms, including semantic similarity that is particularly important, serving as an approximation of human object categorization based on e.g. shared functionalities and evolutionary traits. It also offers practical advantages in computational modeling via lexical structures such as WordNet with constant and interpretable similarity. As in the domain of deep vision, there is still not enough focus on the phenomena regarding the similarity perception emergence. We introduce Deep Similarity Inspector (DSI) — a systematic framework to inspect how deep vision networks develop their similarity perception and its alignment with semantic similarity. Our experiments show that both Convolutional Neural Networks’ (CNNs) and Vision Transformers’ (ViTs) develop a rich similarity perception during training with 3 phases (initial similarity surge, refinement, stabilization), with clear differences between CNNs and ViTs. Besides the gradual mistakes elimination, the mistakes refinement phenomenon can be observed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google