Human-Aligned Image Models Improve Visual Decoding from the Brain

要約

脳活動からの視覚画像を解読することは、脳コンピューターの相互作用を進め、人間の知覚の理解を高めるための重要な可能性を秘めています。
最近のアプローチでは、画像と脳の活動の表現スペースを調整して、視覚的なデコードを可能にします。
このホワイトペーパーでは、脳信号を画像にマッピングするために、人間に合った画像エンコーダーの使用を紹介します。
これらのモデルは、視覚脳データ記録実験で一般的に使用される迅速な視覚刺激の提示に関連する知覚属性をより効果的にキャプチャすると仮定します。
私たちの経験的結果は、この仮説をサポートしており、この単純な変更により、最先端の方法と比較して画像検索の精度が最大21％向上することを示しています。
包括的な実験では、多様なEEGアーキテクチャ、画像エンコーダー、アライメント方法、参加者、および脳イメージングモダリティ全体の一貫したパフォーマンスの改善が確認されています

要約(オリジナル)

Decoding visual images from brain activity has significant potential for advancing brain-computer interaction and enhancing the understanding of human perception. Recent approaches align the representation spaces of images and brain activity to enable visual decoding. In this paper, we introduce the use of human-aligned image encoders to map brain signals to images. We hypothesize that these models more effectively capture perceptual attributes associated with the rapid visual stimuli presentations commonly used in visual brain data recording experiments. Our empirical results support this hypothesis, demonstrating that this simple modification improves image retrieval accuracy by up to 21% compared to state-of-the-art methods. Comprehensive experiments confirm consistent performance improvements across diverse EEG architectures, image encoders, alignment methods, participants, and brain imaging modalities

arxiv情報

提供元, 利用サービス

arxiv.jp, Google