Understanding Cross-Model Perceptual Invariances Through Ensemble Metamers

要約

人工ニューラルネットワークの知覚的な侵略性を理解することは、説明可能性を改善し、モデルを人間の視力に合わせるために不可欠です。
メタマー – 物理的に明確でありながら同一の神経活性化を生成する刺激 – これらの侵略性を調査するための貴重なツールとして機能します。
人工ニューラルネットワークのアンサンブルを活用することにより、メタマー生成への新しいアプローチを導入し、畳み込みニューラルネットワークやビジョントランスなどの多様なアーキテクチャ全体で共有された表現サブスペースをキャプチャします。
生成されたメタマーの特性を特徴付けるために、セマンティックフィデリティや自然性などの要因を評価する画像ベースのメトリックスイートを使用します。
我々の調査結果は、畳み込みニューラルネットワークがより認識可能で人間のようなメタマーを生成し、視覚変圧器が現実的ではあるが透過性の低いメタマーを生成し、表現侵略者に対する建築バイアスの影響を強調することを示しています。

要約(オリジナル)

Understanding the perceptual invariances of artificial neural networks is essential for improving explainability and aligning models with human vision. Metamers – stimuli that are physically distinct yet produce identical neural activations – serve as a valuable tool for investigating these invariances. We introduce a novel approach to metamer generation by leveraging ensembles of artificial neural networks, capturing shared representational subspaces across diverse architectures, including convolutional neural networks and vision transformers. To characterize the properties of the generated metamers, we employ a suite of image-based metrics that assess factors such as semantic fidelity and naturalness. Our findings show that convolutional neural networks generate more recognizable and human-like metamers, while vision transformers produce realistic but less transferable metamers, highlighting the impact of architectural biases on representational invariances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google