Compositionality Unlocks Deep Interpretable Models

要約

我々は$chi$-netを提案する。$chi$-netは、テンソルネットワークの構成的なマルチリニア構造と、ディープニューラルネットワークの表現力と効率性を組み合わせた、本質的に解釈可能なアーキテクチャである。chi$-netは、ベースラインと比較して、同等の精度を保持する。我々の新しい効率的な対角化アルゴリズムODTは、多層SVHNモデルの線形低ランク構造を明らかにする。我々はこれを、正式な重みベースの解釈可能性とモデル圧縮に向けて活用する。

要約(オリジナル)

We propose $\chi$-net, an intrinsically interpretable architecture combining the compositional multilinear structure of tensor networks with the expressivity and efficiency of deep neural networks. $\chi$-nets retain equal accuracy compared to their baseline counterparts. Our novel, efficient diagonalisation algorithm, ODT, reveals linear low-rank structure in a multilayer SVHN model. We leverage this toward formal weight-based interpretability and model compression.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL