SplineCam: Exact Visualization and Characterization of Deep Network Geometry and Decision Boundaries

要約

現在のディープ ネットワーク (DN) の視覚化と解釈可能性の方法は、データ空間の視覚化に大きく依存しています。たとえば、データのどの次元が関連する予測に関与しているかをスコアリングしたり、特定の DN 単位または表現に最もよく一致する新しいデータ機能またはサンプルを生成したりします。
このホワイト ペーパーでは、データ空間の指定された領域に対する DN のマッピング (その決定境界を含む) のジオメトリを計算するための最初の証明可能で正確な方法を開発することにより、さらに一歩進んでいます。
連続区分線形 (CPWL) スプライン DN の理論を活用することにより、SplineCam は、サンプリングやアーキテクチャの単純化などの近似に頼ることなく、DN ジオメトリを正確に計算します。
SplineCam は、(leaky-)ReLU、絶対値、maxout、max-pooling などの CPWL 非線形性に基づく任意の DN アーキテクチャに適用され、暗黙的なニューラル表現などの回帰 DN にも適用できます。
決定境界の視覚化と特徴付けを超えて、SplineCam は、アーキテクチャを比較し、一般化可能性を測定し、多様体の内外で決定境界からサンプリングすることを可能にします。
プロジェクトの Web サイト: bit.ly/splinecam.

要約(オリジナル)

Current Deep Network (DN) visualization and interpretability methods rely heavily on data space visualizations such as scoring which dimensions of the data are responsible for their associated prediction or generating new data features or samples that best match a given DN unit or representation. In this paper, we go one step further by developing the first provably exact method for computing the geometry of a DN’s mapping – including its decision boundary – over a specified region of the data space. By leveraging the theory of Continuous Piece-Wise Linear (CPWL) spline DNs, SplineCam exactly computes a DNs geometry without resorting to approximations such as sampling or architecture simplification. SplineCam applies to any DN architecture based on CPWL nonlinearities, including (leaky-)ReLU, absolute value, maxout, and max-pooling and can also be applied to regression DNs such as implicit neural representations. Beyond decision boundary visualization and characterization, SplineCam enables one to compare architectures, measure generalizability and sample from the decision boundary on or off the manifold. Project Website: bit.ly/splinecam.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google