Net2Brain: A Toolbox to compare artificial vision models with human brain responses

要約

人工ディープ ニューラル ネットワーク (DNN) と人間の脳の記録の表現空間を比較するためのグラフィカルおよびコマンド ライン ユーザー インターフェイス ツールボックスである Net2Brain を紹介します。
さまざまなツールボックスが単一の機能のみを促進するか、監視された画像分類モデルの小さなサブセットにのみ焦点を当てていますが、Net2Brain では、さまざまな範囲の視覚関連タスク (セマンティック セグメンテーション、深度推定、
アクション認識など)、画像とビデオの両方のデータセットを対象としています。
ツールボックスは、これらの活性化に対する代表的非類似度行列 (RDM) を計算し、特定の ROI とサーチライト検索の両方で、代表的類似性分析 (RSA)、加重 RSA を使用して脳の記録と比較します。
さらに、刺激と脳の記録の新しいデータ セットを評価用のツールボックスに追加することが可能です。
Net2Brain の機能と利点を、認知計算神経科学の仮説をテストするために使用する方法を示す例で示します。

要約(オリジナル)

We introduce Net2Brain, a graphical and command-line user interface toolbox for comparing the representational spaces of artificial deep neural networks (DNNs) and human brain recordings. While different toolboxes facilitate only single functionalities or only focus on a small subset of supervised image classification models, Net2Brain allows the extraction of activations of more than 600 DNNs trained to perform a diverse range of vision-related tasks (e.g semantic segmentation, depth estimation, action recognition, etc.), over both image and video datasets. The toolbox computes the representational dissimilarity matrices (RDMs) over those activations and compares them to brain recordings using representational similarity analysis (RSA), weighted RSA, both in specific ROIs and with searchlight search. In addition, it is possible to add a new data set of stimuli and brain recordings to the toolbox for evaluation. We demonstrate the functionality and advantages of Net2Brain with an example showcasing how it can be used to test hypotheses of cognitive computational neuroscience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google