Where We Have Arrived in Proving the Emergence of Sparse Symbolic Concepts in AI Models

要約

この研究は、よく訓練されたディープ ニューラル ネットワーク (DNN) における記号概念 (より正確には、まばらな原始推論パターン) の出現を証明することを目的としています。
具体的には、次の 3 つの創発条件を証明します。
(i) 入力変数に関するネットワーク出力の高次導関数はすべてゼロです。
(ii) DN​​N はオクルージョンされたサンプルに対して使用でき、入力サンプルのオクルージョンが少ない場合、DNN はより高い信頼性をもたらします。
(iii) DN​​N の信頼性は、遮蔽されたサンプルでは大幅に低下しません。
これらの条件は非常に一般的であり、これらの条件下では、DNN は入力変数間の比較的少数の疎な相互作用のみをエンコードすることが証明されています。
さらに、指数関数的に多数のランダムにマスクされたサンプルに対する DNN の推論スコアは、ほんの少数の相互作用の数値効果によって常によく模倣できることが示されているため、このような相互作用を DNN によってエンコードされた記号的な原始推論パターンとみなすことができます。

要約(オリジナル)

This study aims to prove the emergence of symbolic concepts (or more precisely, sparse primitive inference patterns) in well-trained deep neural networks (DNNs). Specifically, we prove the following three conditions for the emergence. (i) The high-order derivatives of the network output with respect to the input variables are all zero. (ii) The DNN can be used on occluded samples and when the input sample is less occluded, the DNN will yield higher confidence. (iii) The confidence of the DNN does not significantly degrade on occluded samples. These conditions are quite common, and we prove that under these conditions, the DNN will only encode a relatively small number of sparse interactions between input variables. Moreover, we can consider such interactions as symbolic primitive inference patterns encoded by a DNN, because we show that inference scores of the DNN on an exponentially large number of randomly masked samples can always be well mimicked by numerical effects of just a few interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google