Double-Flow GAN model for the reconstruction of perceived faces from brain activities

要約

顔は人間の視覚認識において重要な役割を果たしており、高レベルの特徴を抽出し、表情、アイデンティティ、性別などの複数の顔属性の一貫性を維持することが難しいため、脳の活動から知覚された顔を再構成することは困難です。
私たちは、弁別器の能力を強化し、ジェネレータにとっては簡単すぎる特定の領域からの画像の不均衡を処理できる、Double-Flow GAN と呼ばれる新しい再構成フレームワークを提案しました。
また、より大きな純粋な画像データセットで fMRI からの条件付き再構成モデ​​ルを事前学習できるようにするための条件として画像から抽出された特徴を使用する事前学習プロセスも設計しました。
さらに、被験者間の脳構造の違いによる被験者間再構成の問題を軽減するために、fMRI アライメントを実行するための簡単な事前トレーニング済みモデルを開発しました。
提案手法と最先端の再構成モデ​​ルを用いて実験を行った。
我々の結果は、我々の方法が顕著な再構成性能を示し、以前の再構成モデ​​ルを上回り、良好な生成能力を示すことを実証した。

要約(オリジナル)

Face plays an important role in human’s visual perception, and reconstructing perceived faces from brain activities is challenging because of its difficulty in extracting high-level features and maintaining consistency of multiple face attributes, such as expression, identity, gender, etc. In this study, we proposed a novel reconstruction framework, which we called Double-Flow GAN, that can enhance the capability of discriminator and handle imbalances in images from certain domains that are too easy for generators. We also designed a pretraining process that uses features extracted from images as conditions for making it possible to pretrain the conditional reconstruction model from fMRI in a larger pure image dataset. Moreover, we developed a simple pretrained model to perform fMRI alignment to alleviate the problem of cross-subject reconstruction due to the variations of brain structure among different subjects. We conducted experiments by using our proposed method and state-of-the-art reconstruction models. Our results demonstrated that our method showed significant reconstruction performance, outperformed the previous reconstruction models, and exhibited a good generation ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google