Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models

要約

説明可能な AI 研究の最近の傾向は、ニューラル ネットワークがカーネル マシンなどのより単純な ML アルゴリズムとして近似されるサロゲート モデリングに焦点を当てています。
2 番目のトレンドは、さまざまな例による説明タスクやデータ帰属タスクでカーネル関数を利用して、ニューラル ネットワークの多様な動作を調査することです。
この研究では、これら 2 つの傾向を組み合わせて、データの帰属のために近似的な経験的ニューラル タンジェント カーネル (eNTK) を分析します。
eNTK の計算には高い計算コストがかかるため、eNTK 解析では近似が重要です。
新しい近似 eNTK を定義し、結果として得られるカーネル マシンのサロゲート モデルが基礎となるニューラル ネットワークとどの程度よく相関しているかについて新しい分析を実行します。
近似 eNTK の 2 つの新しいランダム投影バリアントを導入し、ユーザーが計算の時間とメモリの複雑さを調整できるようにします。
カーネル関数として近似ニューラル タンジェント カーネルを使用するカーネル マシンは効果的な代理モデルであり、導入されたトレース NTK が最も安定したパフォーマンスを発揮すると結論付けています。

要約(オリジナル)

A recent trend in explainable AI research has focused on surrogate modeling, where neural networks are approximated as simpler ML algorithms such as kernel machines. A second trend has been to utilize kernel functions in various explain-by-example or data attribution tasks to investigate a diverse set of neural network behavior. In this work, we combine these two trends to analyze approximate empirical neural tangent kernels (eNTK) for data attribution. Approximation is critical for eNTK analysis due to the high computational cost to compute the eNTK. We define new approximate eNTK and perform novel analysis on how well the resulting kernel machine surrogate models correlate with the underlying neural network. We introduce two new random projection variants of approximate eNTK which allow users to tune the time and memory complexity of their calculation. We conclude that kernel machines using approximate neural tangent kernel as the kernel function are effective surrogate models, with the introduced trace NTK the most consistent performer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google