NN2Poly: A polynomial representation for deep feed-forward artificial neural networks

要約

ニューラル ネットワークの解釈可能性とその基礎となる理論的動作は、特にディープ ラーニングの出現により、実際の応用が大成功を収めた後でも未解決の研究分野のままです。
この研究では、学習済みの完全接続フィードフォワード人工ニューラル ネットワーク (多層パーセプトロンまたは MLP) の正確な表現を提供する明示的な多項式モデルを取得するための理論的アプローチである NN2Poly が提案されています。
このアプローチは、単一隠れ層ネットワークに限定されていた文献で提案された以前のアイデアを拡張し、回帰タスクと分類タスクの両方で任意の深さの MLP を使用できるようにします。
この論文の目的は、各層で活性化関数のテイラー展開を使用し、次にいくつかの組み合わせプロパティを使用して目的の多項式の係数を計算することによってこれを達成することです。
この方法の主な計算上の課題と、トレーニング段階で特定の制約を課すことでそれらを克服する方法について説明します。
最後に、提案された方法の有効性を実証するために、シミュレーション実験と実際のデータセットへの適用を示します。

要約(オリジナル)

Interpretability of neural networks and their underlying theoretical behavior remain an open field of study even after the great success of their practical applications, particularly with the emergence of deep learning. In this work, NN2Poly is proposed: a theoretical approach to obtain an explicit polynomial model that provides an accurate representation of an already trained fully-connected feed-forward artificial neural network (a multilayer perceptron or MLP). This approach extends a previous idea proposed in the literature, which was limited to single hidden layer networks, to work with arbitrarily deep MLPs in both regression and classification tasks. The objective of this paper is to achieve this by using a Taylor expansion on the activation function, at each layer, and then using several combinatorial properties to calculate the coefficients of the desired polynomials. Discussion is presented on the main computational challenges of this method, and the way to overcome them by imposing certain constraints during the training phase. Finally, simulation experiments as well as an application to a real data set are presented to demonstrate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google