BRACTIVE: A Brain Activation Approach to Human Visual Brain Learning

要約

人間の脳は非常に効率的な処理装置であり、その仕組みを理解することで、機械学習における新しいアルゴリズムやアーキテクチャを生み出すことができます。
この研究では、人間の視覚脳を研究するためのトランスフォーマーベースのアプローチである Brain Activation Network (BRACTIVE) という新しいフレームワークを紹介します。
BRACTIVE の主な目的は、fMRI 信号を介して被験者の視覚的特徴を対応する脳の表現と一致させることです。
これにより、被験者の脳の関心領域 (ROI) を特定することができます。
一度に 1 人の被験者の ROI しか特定できず、被験者の数によって制限されていた以前の脳研究方法とは異なり、BRACTIVE はこの特定を複数の被験者と ROI に自動的に拡張します。
私たちの実験では、BRACTIVE が顔や体の選択領域などの個人固有の関心領域を効果的に識別し、神経科学の発見と一致し、さまざまなオブジェクト カテゴリに適用できる可能性があることを示しています。
さらに重要なことは、人間の視覚的な脳活動を活用してディープ ニューラル ネットワークをガイドすると、さまざまなベンチマーク全体でパフォーマンスが向上することがわかりました。
これは、神経科学と機械知能の研究の両方における BRACTIVE の可能性を促進します。

要約(オリジナル)

The human brain is a highly efficient processing unit, and understanding how it works can inspire new algorithms and architectures in machine learning. In this work, we introduce a novel framework named Brain Activation Network (BRACTIVE), a transformer-based approach to studying the human visual brain. The main objective of BRACTIVE is to align the visual features of subjects with corresponding brain representations via fMRI signals. It allows us to identify the brain’s Regions of Interest (ROI) of the subjects. Unlike previous brain research methods, which can only identify ROIs for one subject at a time and are limited by the number of subjects, BRACTIVE automatically extends this identification to multiple subjects and ROIs. Our experiments demonstrate that BRACTIVE effectively identifies person-specific regions of interest, such as face and body-selective areas, aligning with neuroscience findings and indicating potential applicability to various object categories. More importantly, we found that leveraging human visual brain activity to guide deep neural networks enhances performance across various benchmarks. It encourages the potential of BRACTIVE in both neuroscience and machine intelligence studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google