Bayesian Comparisons Between Representations

要約

どのニューラル ネットワークが似ているかは、機械学習と神経科学の両方にとって基本的な問題です。
私たちの新しい方法は、表現からの線形読み出しに関するベイズ統計に基づいて表現を比較します。
具体的には、表現を比較するために、以前の予測分布間の総変動距離または Jensen-Shannon 距離を使用することを提案します。
事前予測分布は、ベイズ統計における帰納的バイアスとモデルの一般化を完全に記述したものであり、比較の優れた基礎となります。
ジェンセン-シャノン距離と総変動距離は指標であるため、非類似性測定は表現の擬似指標です。
線形読み出しの場合、メトリクスは表現の線形カーネル行列にのみ依存します。
したがって、私たちのメトリクスは、線形読み取りベースの比較を、中心カーネル アライメントや表現類似性分析などのカーネル ベースのメトリクスに結び付けます。
新しいメトリクスを ImageNet-1k でトレーニングされたディープ ニューラル ネットワークに適用します。
私たちの新しいメトリクスは、表現の次元を削減することなく、確率的勾配を含めて効率的に計算できます。
既存の指標とほぼ一致していますが、より厳格です。
これは、異なるランダム画像サンプル間での変動が少なく、線形読み出しに基づいて 2 つの表現をどの程度うまく区別できるかを測定します。
したがって、私たちのメトリックは、表現を比較するためのツールキットをうまく拡張します。

要約(オリジナル)

Which neural networks are similar is a fundamental question for both machine learning and neuroscience. Our novel method compares representations based on Bayesian statistics about linear readouts from the representations. Concretely, we suggest to use the total variation distance or Jensen-Shannon distance between prior predictive distributions to compare representations. The prior predictive distribution is a full description of the inductive bias and generalization of a model in Bayesian statistics, making it a great basis for comparisons. As Jensen-Shannon distance and total variation distance are metrics our dissimilarity measures are pseudo-metrics for representations. For a linear readout, our metrics just depend on the linear kernel matrix of the representations. Thus, our metrics connects linear read-out based comparisons to kernel based metrics like centered kernel alignment and representational similarity analysis. We apply our new metrics to deep neural networks trained on ImageNet-1k. Our new metrics can be computed efficiently including a stochastic gradient without dimensionality reductions of the representations. It broadly agrees with existing metrics, but is more stringent. It varies less across different random image samples, and it measures how well two representations could be distinguished based on a linear read out. Thus our metric nicely extends our toolkit for comparing representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google