Applicability of scaling laws to vision encoding models

要約

この論文では、Algonauts Project 2023 Challenge への参加の一環として、脳活動を予測するための高性能ビジョン エンコーディング モデルを構築する方法を調査しました。
このチャレンジでは、参加者が画像を見ながら機能的 MRI (fMRI) によって記録された脳活動が提供されました。
予測モデルの構築には、パラメータ サイズが 86M から 4.3B の範囲のいくつかのビジョン モデルが使用されました。
高精度のモデルを構築するために、次の 2 つの主要な側面に分析を集中しました: (1) fMRI トレーニング セットのサンプル サイズは予測精度をどのように変化させるか?
(2) 視覚野全体の予測精度は、視覚モデルのパラメータサイズによってどのように変化しますか?
結果は、トレーニング中に使用されるサンプル サイズが増加するにつれて、スケーリング則に従って予測精度が向上することを示しています。
同様に、ビジョンモデルのパラメータサイズが増加すると、スケーリング則に従って予測精度が向上することがわかりました。
これらの結果は、fMRIトレーニングセットのサンプルサイズと視覚モデルのパラメータサイズを増やすことが、脳のより正確な視覚モデルに貢献し、視覚神経科学のより良い理解につながる可能性があることを示唆しています。

要約(オリジナル)

In this paper, we investigated how to build a high-performance vision encoding model to predict brain activity as part of our participation in the Algonauts Project 2023 Challenge. The challenge provided brain activity recorded by functional MRI (fMRI) while participants viewed images. Several vision models with parameter sizes ranging from 86M to 4.3B were used to build predictive models. To build highly accurate models, we focused our analysis on two main aspects: (1) How does the sample size of the fMRI training set change the prediction accuracy? (2) How does the prediction accuracy across the visual cortex vary with the parameter size of the vision models? The results show that as the sample size used during training increases, the prediction accuracy improves according to the scaling law. Similarly, we found that as the parameter size of the vision models increases, the prediction accuracy improves according to the scaling law. These results suggest that increasing the sample size of the fMRI training set and the parameter size of visual models may contribute to more accurate visual models of the brain and lead to a better understanding of visual neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google