Derivation of effective gradient flow equations and dynamical truncation of training data in Deep Learning

要約

ReLU 活性化関数を使用した深層学習の累積バイアスと重みを制御する明示的な方程式を、入力層のユークリッド コストの勾配降下法に基づいて導き出し、重みは正確な意味で座標系に適合しているという仮定の下で導き出します。
活性化によって区別されます。
勾配降下法が入力層の動的プロセスに対応し、それによってデータのクラスターが、すでに切り捨てられたデータポイントの数に応じて増加する指数関数的な速度で複雑さが徐々に低減 (「切り捨て」) されることを示します。
勾配流方程式のいくつかのタイプの解法について詳しく説明します。
この研究の主な動機は、教師あり学習における解釈可能性の問題に光を当てることです。

要約(オリジナル)

We derive explicit equations governing the cumulative biases and weights in Deep Learning with ReLU activation function, based on gradient descent for the Euclidean cost in the input layer, and under the assumption that the weights are, in a precise sense, adapted to the coordinate system distinguished by the activations. We show that gradient descent corresponds to a dynamical process in the input layer, whereby clusters of data are progressively reduced in complexity (‘truncated’) at an exponential rate that increases with the number of data points that have already been truncated. We provide a detailed discussion of several types of solutions to the gradient flow equations. A main motivation for this work is to shed light on the interpretability question in supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google