Transformed Low-Rank Parameterization Can Help Robust Generalization for Tensor Neural Networks

要約

効率的かつ堅牢なマルチチャネル データ学習を実現することは、データ サイエンスにおける困難な課題です。
変換された領域の低ランク性、つまり変換された低ランク性を利用することにより、テンソル特異値分解 (t-SVD) はマルチチャネル データ表現で広範な成功を収め、最近では t を使用するニューラル ネットワークなどの関数表現にも拡張されています。
– プロダクト レイヤー (t-NN)。
ただし、t-SVD が理論的に t-NN の学習動作にどのような影響を与えるかは依然として不明です。
この論文は、標準および敵対的に訓練された t-NN の両方の汎化誤差の上限を導出することで、この疑問に初めて答えました。
これは、正確に変換された低ランクのパラメータ化によって圧縮された t-NN が、より鋭い敵対的一般化限界を達成できることを明らかにしています。
実際には、t-NN が低ランクの重みを正確に変換することはほとんどありませんが、我々の分析では、勾配フロー (GF) を使用した敵対的トレーニングによって、ReLU 活性化を伴う過剰パラメータ化された t-NN が、変換された低ランクの重みに向けた暗黙的な正則化でトレーニングされることがさらに示されています。
特定の条件下でのランクパラメータ化。
また、近似的に変換された低ランクの重みを使用して、t-NN の敵対的一般化境界を確立します。
私たちの分析は、変換された低ランクのパラメーター化が t-NN のロバストな一般化を有望に強化できることを示しています。

要約(オリジナル)

Achieving efficient and robust multi-channel data learning is a challenging task in data science. By exploiting low-rankness in the transformed domain, i.e., transformed low-rankness, tensor Singular Value Decomposition (t-SVD) has achieved extensive success in multi-channel data representation and has recently been extended to function representation such as Neural Networks with t-product layers (t-NNs). However, it still remains unclear how t-SVD theoretically affects the learning behavior of t-NNs. This paper is the first to answer this question by deriving the upper bounds of the generalization error of both standard and adversarially trained t-NNs. It reveals that the t-NNs compressed by exact transformed low-rank parameterization can achieve a sharper adversarial generalization bound. In practice, although t-NNs rarely have exactly transformed low-rank weights, our analysis further shows that by adversarial training with gradient flow (GF), the over-parameterized t-NNs with ReLU activations are trained with implicit regularization towards transformed low-rank parameterization under certain conditions. We also establish adversarial generalization bounds for t-NNs with approximately transformed low-rank weights. Our analysis indicates that the transformed low-rank parameterization can promisingly enhance robust generalization for t-NNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google