Bayesian Comparisons Between Representations

要約

どのニューラルネットワークが類似しているかは、機械学習と神経科学の両方にとって基本的な問題です。
ここでは、中間表現からの線形読み取りの予測分布に基づいて比較することを提案します。
ベイジアン統計では、以前の予測分布は、モデルの誘導バイアスと一般化の完全な説明であり、比較のための大きな根拠となっています。
この分布は、データセットがモデルを支持して提供する証拠を直接提供します。
複数のモデルを互いに比較したい場合は、ジェンセンシャノン距離や総変動距離などの確率分布にメトリックを使用できます。
これらはメトリックであるため、これは表現に擬似メトリクスを誘導します。これにより、線形読み取りに基づいて2つの表現がどれほど適切に区別できるかを測定します。
読み出しの重みとガウスノイズに関するガウスの事前の線形読み出しの場合、近似なしで（前後の）予測分布を分析的に計算できます。
これらの分布は、モデル内の表現の線形カーネルマトリックスのみに依存します。
したがって、ベイジアンメトリックは、中央カーネルアライメントや表現類似性分析などのカーネルベースのメトリックと線形読み出しベースの比較を接続します。
Imagenet-1Kで訓練された深いニューラルネットワークを使用して、それらを互いに比較し、自然シーンデータセットの小さなサブセットを使用して、新しい方法を実証します。
ベイジアンの比較は、既存のメトリックに広く同意しますが、より厳しいものです。
経験的には、評価は異なるランダム画像サンプルによって異なり、完全な不確実性情報で有益な結果をもたらします。
したがって、提案されたベイジアンメトリックは、表現を比較するためにツールキットをうまく拡張します。

要約(オリジナル)

Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Here, I propose to base comparisons on the predictive distributions of linear readouts from intermediate representations. In Bayesian statistics, the prior predictive distribution is a full description of the inductive bias and generalization of a model, making it a great basis for comparisons. This distribution directly gives the evidence a dataset would provide in favor of the model. If we want to compare multiple models to each other, we can use a metric for probability distributions like the Jensen-Shannon distance or the total variation distance. As these are metrics, this induces pseudo-metrics for representations, which measure how well two representations could be distinguished based on a linear read out. For a linear readout with a Gaussian prior on the read-out weights and Gaussian noise, we can analytically compute the (prior and posterior) predictive distributions without approximations. These distributions depend only on the linear kernel matrix of the representations in the model. Thus, the Bayesian metrics connect linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. I demonstrate the new methods with deep neural networks trained on ImageNet-1k comparing them to each other and a small subset of the Natural Scenes Dataset. The Bayesian comparisons broadly agree with existing metrics, but are more stringent. Empirically, evaluations vary less across different random image samples and yield informative results with full uncertainty information. Thus the proposed Bayesian metrics nicely extend our toolkit for comparing representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google