Differentiable Optimization of Similarity Scores Between Models and Brains

要約

2 つのシステム (生物学的システムか人工システム) が同様の方法で情報を処理しているかどうかをどのようにして知ることができるのでしょうか?
この類似性を定量化するために、線形回帰、中心カーネル アライメント (CKA)、正規化ビュレス類似度 (NBS)、角度プロクラステス距離などの類似性尺度がよく使用されます。
ただし、現時点では、何が高い類似性スコアをもたらすのか、また何が「良い」スコアを構成するのかさえ不明です。
ここでは、類似性尺度を通じて区別することでこれらの質問を調査し、スコアを直接最大化する新しいツールを紹介します。
驚くべきことに、高い類似性スコアは、ニューラル データと一致する方法でタスク関連情報をエンコードすることを保証しないことがわかりました。
これは、CKA だけでなく、交差検証および正規化された線形回帰の一部のバリエーションでも特に深刻です。
良好な類似性スコアに対する一貫したしきい値は見つかりません。それは測定値とデータセットの両方に依存します。
さらに、類似性スコアを最大化するように最適化された合成データセットは、最初にターゲット データセットの最も高い分散主成分を学習しますが、angular Procrustes などの一部の手法は、CKA などの手法よりもはるかに早い段階でより低い分散次元を取得します。
これを明らかにするために、主成分の次元の分散に対する CKA、角度プロクラステス、および NBS の感度を数学的に導出し、CKA が高分散成分に重点を置くことを説明します。
最後に、複数の類似性尺度を共同最適化することで、それらの許容範囲を特徴付け、一部の類似性尺度が他の類似性尺度よりも制約的であることを明らかにします。
現在の尺度は、神経システム間の類似性を定量化する一見簡単な方法を提供していますが、私たちの研究は慎重な解釈の必要性を強調しています。
私たちが開発したツールが、現在および将来の類似性尺度をより深く理解するために実務家によって使用されることを願っています。

要約(オリジナル)

How do we know if two systems – biological or artificial – process information in a similar way? Similarity measures such as linear regression, Centered Kernel Alignment (CKA), Normalized Bures Similarity (NBS), and angular Procrustes distance, are often used to quantify this similarity. However, it is currently unclear what drives high similarity scores and even what constitutes a ‘good’ score. Here, we introduce a novel tool to investigate these questions by differentiating through similarity measures to directly maximize the score. Surprisingly, we find that high similarity scores do not guarantee encoding task-relevant information in a manner consistent with neural data; and this is particularly acute for CKA and even some variations of cross-validated and regularized linear regression. We find no consistent threshold for a good similarity score – it depends on both the measure and the dataset. In addition, synthetic datasets optimized to maximize similarity scores initially learn the highest variance principal component of the target dataset, but some methods like angular Procrustes capture lower variance dimensions much earlier than methods like CKA. To shed light on this, we mathematically derive the sensitivity of CKA, angular Procrustes, and NBS to the variance of principal component dimensions, and explain the emphasis CKA places on high variance components. Finally, by jointly optimizing multiple similarity measures, we characterize their allowable ranges and reveal that some similarity measures are more constraining than others. While current measures offer a seemingly straightforward way to quantify the similarity between neural systems, our work underscores the need for careful interpretation. We hope the tools we developed will be used by practitioners to better understand current and future similarity measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google