Beyond Scalars: Concept-Based Alignment Analysis in Vision Transformers

要約

ビジョン トランスフォーマー (ViT) は、完全教師ありから自己教師ありまで、さまざまな学習パラダイムを使用してトレーニングできます。
トレーニング プロトコルが多様であると、特徴空間が大幅に異なることがよくあり、通常はアライメント分析を通じて比較されます。
ただし、現在のアライメント測定では、この関係が単一のスカラー値で定量化されており、同じスカラー アライメントを共有する表現のペアにおける共通の特徴と固有の特徴の区別が曖昧になっています。
私たちは、アライメント分析と概念発見を組み合わせることによってこの制限に対処します。これにより、アライメントを特徴空間にエンコードされた単一の概念に分解できるようになります。
この詳細な比較により、さまざまな表現にわたる普遍的な概念と独自の概念の両方が明らかになり、それぞれの表現内の概念の内部構造も明らかになります。
私たちの方法論的貢献は、概念ベースの調整のための 2 つの重要な前提条件に対処します。 1) 特徴空間の幾何学形状を忠実に捉える概念による表現の説明のために、概念を、それらが形成できる最も一般的な構造、つまり任意の多様体として定義します。
、これらの多様体への近接性によって隠れた特徴を記述することができます。
2) 2 つの表現の概念近接スコア間の距離を測定するために、一般化された Rand インデックスを使用し、概念のペア間の位置合わせのためにそれを分割します。
健全性チェックにおいて、アライメント解析のための新しい概念定義が既存の線形ベースラインよりも優れていることを確認します。
4 つの異なる ViT からの表現の概念ベースのアライメント分析により、監視の増加が学習された表現の意味構造の減少と相関していることが明らかになりました。

要約(オリジナル)

Vision transformers (ViTs) can be trained using various learning paradigms, from fully supervised to self-supervised. Diverse training protocols often result in significantly different feature spaces, which are usually compared through alignment analysis. However, current alignment measures quantify this relationship in terms of a single scalar value, obscuring the distinctions between common and unique features in pairs of representations that share the same scalar alignment. We address this limitation by combining alignment analysis with concept discovery, which enables a breakdown of alignment into single concepts encoded in feature space. This fine-grained comparison reveals both universal and unique concepts across different representations, as well as the internal structure of concepts within each of them. Our methodological contributions address two key prerequisites for concept-based alignment: 1) For a description of the representation in terms of concepts that faithfully capture the geometry of the feature space, we define concepts as the most general structure they can possibly form – arbitrary manifolds, allowing hidden features to be described by their proximity to these manifolds. 2) To measure distances between concept proximity scores of two representations, we use a generalized Rand index and partition it for alignment between pairs of concepts. We confirm the superiority of our novel concept definition for alignment analysis over existing linear baselines in a sanity check. The concept-based alignment analysis of representations from four different ViTs reveals that increased supervision correlates with a reduction in the semantic structure of learned representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google