ReAlnet: Achieving More Human Brain-Like Vision via Human Neural Representational Alignment

要約

人工知能は目覚ましい進歩を遂げているにもかかわらず、現在の物体認識モデルは、人間の脳の視覚情報処理メカニズムをエミュレートするという点では依然として遅れをとっています。
最近の研究では、神経データを使用して脳の処理を模倣する可能性が強調されています。
しかし、これらは人間以外の被験者からの侵襲的な神経記録に応答することが多く、人間の視覚認識の理解と、より人間の脳に似た視覚モデルの開発に重大なギャップが残されています。
このギャップに対処するために、我々は、非侵襲的EEG記録に基づいて人間の脳の活動と整合した視覚モデル「Re(presentational)Al(ignment)net」を初めて提示し、人間の脳の表現との類似性が著しく高いことを実証した。
当社の革新的な画像から脳へのマルチレイヤーエンコーディングアライメントフレームワークは、モデルの複数のレイヤーを最適化し、神経アライメントにおける大幅な飛躍を示すだけでなく、モデルがオブジェクトカテゴリやさまざまなカテゴリーにわたる人間の脳の視覚表現パターンを効率的に学習して模倣できるようにします。
ニューラル データ モダリティ。
さらに、人間の脳の表現と一致させることで、モデルの敵対的堅牢性が向上することも発見しました。
私たちの調査結果は、ReAlnet がこの分野で新たな前例を作り、人工視覚と人間の視覚の間のギャップを埋め、より脳に似た人工知能システムへの道を切り開くことを示唆しています。

要約(オリジナル)

Despite the remarkable strides made in artificial intelligence, current object recognition models still lag behind in emulating the mechanism of visual information processing in human brains. Recent studies have highlighted the potential of using neural data to mimic brain processing; however, these often reply on invasive neural recordings from non-human subjects, leaving a critical gap in our understanding of human visual perception and the development of more human brain-like vision models. Addressing this gap, we present, for the first time, ‘Re(presentational)Al(ignment)net’, a vision model aligned with human brain activity based on non-invasive EEG recordings, demonstrating a significantly higher similarity to human brain representations. Our innovative image-to-brain multi-layer encoding alignment framework not only optimizes multiple layers of the model, marking a substantial leap in neural alignment, but also enables the model to efficiently learn and mimic human brain’s visual representational patterns across object categories and different neural data modalities. Furthermore, we discover that alignment with human brain representations improves the model’s adversarial robustness. Our findings suggest that ReAlnet sets a new precedent in the field, bridging the gap between artificial and human vision, and paving the way for more brain-like artificial intelligence systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google