Analyzing Neural Network Robustness Using Graph Curvature

要約

この論文では、グラフ理論分析、特にグラフの曲率の観点から、ニューラル ネットワーク (NN) の堅牢性の問題について新たな考察を示します。
グラフの曲率 (リッチ曲率など) は、道路交通分析やインターネット ルーティングなど、多くの領域でシステム ダイナミクスを分析し、ボトルネックを特定するために使用されてきました。
ニューラル リッチ曲率の概念を定義し、それを使用して、NN 出力に「データを転送する」ために頻繁に使用されるボトルネック NN エッジを特定します。
我々は、NN の堅牢性が低い入力ではそのようなエッジが実際により頻繁に発生することを示す MNIST の評価を提供します。
これらの結果は、ボトルネック エッジの数を最小限に抑えることにより、堅牢なトレーニングの代替方法の基礎として機能します。

要約(オリジナル)

This paper presents a new look at the neural network (NN) robustness problem, from the point of view of graph theory analysis, specifically graph curvature. Graph curvature (e.g., Ricci curvature) has been used to analyze system dynamics and identify bottlenecks in many domains, including road traffic analysis and internet routing. We define the notion of neural Ricci curvature and use it to identify bottleneck NN edges that are heavily used to “transport data’ to the NN outputs. We provide an evaluation on MNIST that illustrates that such edges indeed occur more frequently for inputs where NNs are less robust. These results will serve as the basis for an alternative method of robust training, by minimizing the number of bottleneck edges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google