Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks

要約

ニューラルネットワークをテンソレイズするには、その密な重量マトリックスの一部またはすべてを高次テンソルに再形成し、低ランクテンソルネットワーク分解を使用してそれらを近似することが含まれます。
この手法は、大規模なニューラルネットワークのモデル圧縮戦略として有望であることを示しています。
ただし、経験的な結果を奨励しているにもかかわらず、テンソージ化されたニューラルネットワーク（TNN）は、主流の深い学習で十分に活用されていないままです。
このポジションペーパーでは、TNNの潜在的および現在の制限の両方についての視点を提供します。
TNNSは、深い学習のための強力でありながら未熟なフレームワークを表していると主張します。これは、エンジニアリングコミュニティと理論的コミュニティの両方からより大きな注目に値します。
圧縮を超えて、独特のスケーリング特性と解釈可能性の向上を備えた柔軟なクラスのアーキテクチャとしてのTNNの値を強調します。
TNNSの中心的な特徴は、従来のネットワークには見られない新しい潜在スペースを導入する結合インデックスの存在です。
これらの内部表現は、レイヤー間の機能の進化に関するより深い洞察を提供し、機械的解釈可能性の目標を潜在的に進める可能性があります。
最後に、現代の深い学習ワークフローでTNNを拡大および採用することに対する実際的な障壁を克服することを目的としたいくつかの重要な研究の道順を概説することで締めくくります。

要約(オリジナル)

Tensorizing a neural network involves reshaping some or all of its dense weight matrices into higher-order tensors and approximating them using low-rank tensor network decompositions. This technique has shown promise as a model compression strategy for large-scale neural networks. However, despite encouraging empirical results, tensorized neural networks (TNNs) remain underutilized in mainstream deep learning. In this position paper, we offer a perspective on both the potential and current limitations of TNNs. We argue that TNNs represent a powerful yet underexplored framework for deep learning–one that deserves greater attention from both engineering and theoretical communities. Beyond compression, we highlight the value of TNNs as a flexible class of architectures with distinctive scaling properties and increased interpretability. A central feature of TNNs is the presence of bond indices, which introduce new latent spaces not found in conventional networks. These internal representations may provide deeper insight into the evolution of features across layers, potentially advancing the goals of mechanistic interpretability. We conclude by outlining several key research directions aimed at overcoming the practical barriers to scaling and adopting TNNs in modern deep learning workflows.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google