Tensorization of neural networks for improved privacy and interpretability

要約

機能のテンソル列車表現を構築し、スケッチと交差補間のアイデアを描くためのテンソレーションアルゴリズムを提示します。
この方法では、ターゲット関数へのブラックボックスアクセスと、目的のドメインを定義する小さなサンプルポイントのセットのみが必要です。
したがって、これは、目的の領域がトレーニングデータセットによって自然に定義される機械学習モデルに特に適しています。
このアプローチを使用して、ニューラルネットワークモデルのプライバシーと解釈可能性を高めることができることを示します。
具体的には、分解を（i）トレーニングデータの分布に結び付けられたパラメーターをエンコードするパラメーターをエンコードする神経ネットワークを難読化し、（ii）テンソル列車の表現から簡単にアクセスできる物質のトポロジフェーズを推定する。
さらに、このテンソーゼーションは、一般的な設定でテンソル列車を最適化するための効率的な初期化方法として機能し、モデル圧縮のために、私たちのアルゴリズムは、神経ネットワークの従来のテンソーゼーション方法と比較して、メモリと時間の複雑さの間の優れたトレードオフを達成することを示しています。
。

要約(オリジナル)

We present a tensorization algorithm for constructing tensor train representations of functions, drawing on sketching and cross interpolation ideas. The method only requires black-box access to the target function and a small set of sample points defining the domain of interest. Thus, it is particularly well-suited for machine learning models, where the domain of interest is naturally defined by the training dataset. We show that this approach can be used to enhance the privacy and interpretability of neural network models. Specifically, we apply our decomposition to (i) obfuscate neural networks whose parameters encode patterns tied to the training data distribution, and (ii) estimate topological phases of matter that are easily accessible from the tensor train representation. Additionally, we show that this tensorization can serve as an efficient initialization method for optimizing tensor trains in general settings, and that, for model compression, our algorithm achieves a superior trade-off between memory and time complexity compared to conventional tensorization methods of neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google