Derivation of Back-propagation for Graph Convolutional Networks using Matrix Calculus and its Application to Explainable Artificial Intelligence

要約

本稿では、グラフ畳み込みニューラルネットワークのバックプロパゲーションアルゴリズムについて、行列微積分を用いた包括的かつ詳細な導出を行う。この導出は、任意の要素毎の活性化関数と任意の層数を含むように拡張されている。この研究では2つの基本的な問題、すなわちノードの分類とリンクの予測を扱う。我々の方法を検証するために、逆モードの自動微分と比較する。実験結果は、本手法と逆モード自動微分を用いたアプローチを比較した場合、更新された重み行列の二乗誤差の中央値が$10^{-18}$から$10^{-14}$の範囲に収まることを示す。これらの結果は、5層のグラフ畳み込みネットワークを用いて、Zachary’s karate clubソーシャルネットワーク上のノード分類問題と、薬物-薬物相互作用ネットワーク上のリンク予測問題に適用した実験から得られた。最後に、導出された閉形式解が、説明可能なAIの開発と感度分析をどのように促進するかを示す。

要約(オリジナル)

This paper provides a comprehensive and detailed derivation of the backpropagation algorithm for graph convolutional neural networks using matrix calculus. The derivation is extended to include arbitrary element-wise activation functions and an arbitrary number of layers. The study addresses two fundamental problems, namely node classification and link prediction. To validate our method, we compare it with reverse-mode automatic differentiation. The experimental results demonstrate that the median sum of squared errors of the updated weight matrices, when comparing our method to the approach using reverse-mode automatic differentiation, falls within the range of $10^{-18}$ to $10^{-14}$. These outcomes are obtained from conducting experiments on a five-layer graph convolutional network, applied to a node classification problem on Zachary’s karate club social network and a link prediction problem on a drug-drug interaction network. Finally, we show how the derived closed-form solution can facilitate the development of explainable AI and sensitivity analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL