Polyhedral Complex Extraction from ReLU Networks using Edge Subdivision

要約

全結合層や ReLU アクティベーションなどの区分的アフィン ビルディング ブロックで構成されるニューラル ネットワークは、それ自体が多面体複合体でサポートされる区分的アフィン関数です。
この複合体は、ニューラル ネットワークの理論的特性を特徴付けるために以前に研究されてきましたが、実際には、組み合わせの複雑さが高いため、これを抽出することは依然として課題です。
以前の研究で説明されている自然なアイデアは、各ニューロンによって誘発される超平面との交差を介して領域を細分化することです。
しかし、私たちは、この見方が計算の冗長性につながると主張します。
領域の代わりにエッジを細分化し、多面体複合体抽出のための新しい方法を導くことを提案します。
これに対する鍵となるのは、複合体の組み合わせ構造をエンコードする符号ベクトルです。
私たちのアプローチでは、GPU 上で標準のテンソル演算を使用することができ、消費者向けマシン上の数百万のセルに数秒かかります。
神経形状表現への関心の高まりを動機として、私たちはこの方法の速度と微分可能性を利用して、複合体の幾何学的特性を最適化します。
コードは https://github.com/arturs-berzins/relu_edge_subdivision で入手できます。

要約(オリジナル)

A neural network consisting of piecewise affine building blocks, such as fully-connected layers and ReLU activations, is itself a piecewise affine function supported on a polyhedral complex. This complex has been previously studied to characterize theoretical properties of neural networks, but, in practice, extracting it remains a challenge due to its high combinatorial complexity. A natural idea described in previous works is to subdivide the regions via intersections with hyperplanes induced by each neuron. However, we argue that this view leads to computational redundancy. Instead of regions, we propose to subdivide edges, leading to a novel method for polyhedral complex extraction. A key to this are sign-vectors, which encode the combinatorial structure of the complex. Our approach allows to use standard tensor operations on a GPU, taking seconds for millions of cells on a consumer grade machine. Motivated by the growing interest in neural shape representation, we use the speed and differentiability of our method to optimize geometric properties of the complex. The code is available at https://github.com/arturs-berzins/relu_edge_subdivision .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google