Scaling laws for decoding images from brain activity

要約

生成AIは最近、脳の活動からの画像の解読を推進しました。
これらのアプローチは、神経記録の量と種類とどのように拡大しますか？
ここでは、4種類の非侵襲的デバイスからの画像デコードを体系的に比較します：脳波（EEG）、磁気脳波（MEG）、高フィールドの機能的磁気共鳴イメージング（3T fMRI）および超高磁場（7T）FMRI。
このために、これまでで最大のベンチマークでデコードモデルを評価し、8つのパブリックデータセット、84人のボランティア、498時間の脳記録、自然画像に対する230万の脳反応を網羅しています。
以前の作業とは異なり、シングルトライアルデコードパフォーマンスに焦点を当てて、リアルタイム設定をシミュレートします。
この体系的な比較により、3つの主要な調査結果が明らかになります。
第一に、最も正確なニューロイメージングデバイスは、トレーニングセットのサイズが似ている場合、最高のデコードパフォーマンスを生成する傾向があります。
ただし、リニアモデルと比較して、ディープラーニングによって有効になっているゲインは、最も騒々しいデバイスで取得されます。
第二に、トレーニングデータの量が増えるにつれて、デコードパフォーマンスのプラトーは観察されません。
むしろ、脳記録の量を使用して、パフォーマンススケールを対象とデコードします。
第三に、このスケーリング法は主に被験者ごとのデータの量に依存します。
ただし、被験者の数を増やすことにより、デコードゲインはほとんど観察されません。
全体として、これらの調査結果は、非侵襲的な脳記録からの画像の解読をスケーリングするのに最も適したパスを描写します。

要約(オリジナル)

Generative AI has recently propelled the decoding of images from brain activity. How do these approaches scale with the amount and type of neural recordings? Here, we systematically compare image decoding from four types of non-invasive devices: electroencephalography (EEG), magnetoencephalography (MEG), high-field functional Magnetic Resonance Imaging (3T fMRI) and ultra-high field (7T) fMRI. For this, we evaluate decoding models on the largest benchmark to date, encompassing 8 public datasets, 84 volunteers, 498 hours of brain recording and 2.3 million brain responses to natural images. Unlike previous work, we focus on single-trial decoding performance to simulate real-time settings. This systematic comparison reveals three main findings. First, the most precise neuroimaging devices tend to yield the best decoding performances, when the size of the training sets are similar. However, the gain enabled by deep learning – in comparison to linear models – is obtained with the noisiest devices. Second, we do not observe any plateau of decoding performance as the amount of training data increases. Rather, decoding performance scales log-linearly with the amount of brain recording. Third, this scaling law primarily depends on the amount of data per subject. However, little decoding gain is observed by increasing the number of subjects. Overall, these findings delineate the path most suitable to scale the decoding of images from non-invasive brain recordings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google