MAME: Multidimensional Adaptive Metamer Exploration with Human Perceptual Feedback

要約

人間の脳ネットワークと人工モデルの間の整合は、機械学習と神経科学で積極的に研究されています。
それらの機能的アラインメントを調査するために広く採用されているアプローチは、人間とモデルの両方のメタマーを特定することです。
メタマーは、特定のシステム内で物理的に異なるが同等の入力刺激を指します。
モデルのメタイメリック空間が人間のメタメラ空間と完全に一致した場合、モデルは人間との機能的整合を達成します。
ただし、従来の方法には、人間のメタマーを検索する直接的な方法がありません。
代わりに、研究者は最初に生物学的にインスパイアされたモデルを開発し、次にモデルメタマーも人間のメタマーとして現れるかどうかをテストすることにより、間接的にヒトメタマーについて推測します。
ここでは、多次元適応型メタマー探査（MAME）フレームワークを提案し、人間のメタメラ空間の直接高次元探査を可能にします。
MAMEは、人間の知覚フィードバックに導かれたオンライン画像生成を活用します。
具体的には、畳み込みニューラルネットワーク（CNNS）からの階層応答を活用することにより、複数の次元にわたって参照画像を変調します。
生成された画像は、行動タスクで知覚的な識別性が評価される参加者に提示されます。
参加者の応答に基づいて、その後の画像生成パラメーターはオンラインで適応的に更新されます。
MAMEフレームワークを使用して、単一の実験内で50を超える寸法の人間のメタメラ空間を測定しました。
実験結果は、画像のコントラストメトリックが説明できなかった高レベルの特徴と比較して、低レベルの特徴に基づいたメタメラ画像では人間の識別感度が低いことを示しました。
この発見は、モデルが人間の認識に不可欠ではない低レベルの情報を計算することを示唆しています。
私たちのフレームワークは、解釈可能なAIの開発と神経科学における脳機能の理解に貢献する可能性があります。

要約(オリジナル)

Alignment between human brain networks and artificial models is actively studied in machine learning and neuroscience. A widely adopted approach to explore their functional alignment is to identify metamers for both humans and models. Metamers refer to input stimuli that are physically different but equivalent within a given system. If a model’s metameric space completely matched the human metameric space, the model would achieve functional alignment with humans. However, conventional methods lack direct ways to search for human metamers. Instead, researchers first develop biologically inspired models and then infer about human metamers indirectly by testing whether model metamers also appear as metamers to humans. Here, we propose the Multidimensional Adaptive Metamer Exploration (MAME) framework, enabling direct high-dimensional exploration of human metameric space. MAME leverages online image generation guided by human perceptual feedback. Specifically, it modulates reference images across multiple dimensions by leveraging hierarchical responses from convolutional neural networks (CNNs). Generated images are presented to participants whose perceptual discriminability is assessed in a behavioral task. Based on participants’ responses, subsequent image generation parameters are adaptively updated online. Using our MAME framework, we successfully measured a human metameric space of over fifty dimensions within a single experiment. Experimental results showed that human discrimination sensitivity was lower for metameric images based on low-level features compared to high-level features, which image contrast metrics could not explain. The finding suggests that the model computes low-level information not essential for human perception. Our framework has the potential to contribute to developing interpretable AI and understanding of brain function in neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google