Convolutions Through the Lens of Tensor Networks

要約

畳み込みはその単純な直感にもかかわらず、高密度層よりも分析が面倒であり、理論的およびアルゴリズム的なアイデアの一般化が複雑になります。
私たちは、テンソル ネットワーク (TN) を介して畳み込みに対する新しい視点を提供します。これにより、図を描画し、それを操作して関数変換、サブテンソル アクセス、および融合を実行することで、基礎となるテンソル乗算について推論できるようになります。
この表現力を、完全なハイパーパラメータのサポート、バッチ処理、チャネル グループ、および任意の畳み込み次元への一般化を使用して、さまざまな autodiff 操作と一般的な 2 次情報の近似の図を導出することで実証します。
さらに、接続パターンに基づいた畳み込み固有の変換を提供し、評価前に図を再配線して簡素化することができます。
最後に、効率的な TN 収縮のための確立された機構に依存して、計算パフォーマンスを調査します。
私たちの TN 実装は、最近提案された KFAC バリアントを最大 4.5 倍まで高速化し、近似逆伝播のための新しいハードウェア効率の高いテンソル ドロップアウトを可能にします。

要約(オリジナル)

Despite their simple intuition, convolutions are more tedious to analyze than dense layers, which complicates the generalization of theoretical and algorithmic ideas. We provide a new perspective onto convolutions through tensor networks (TNs) which allow reasoning about the underlying tensor multiplications by drawing diagrams, and manipulating them to perform function transformations, sub-tensor access, and fusion. We demonstrate this expressive power by deriving the diagrams of various autodiff operations and popular approximations of second-order information with full hyper-parameter support, batching, channel groups, and generalization to arbitrary convolution dimensions. Further, we provide convolution-specific transformations based on the connectivity pattern which allow to re-wire and simplify diagrams before evaluation. Finally, we probe computational performance, relying on established machinery for efficient TN contraction. Our TN implementation speeds up a recently-proposed KFAC variant up to 4.5x and enables new hardware-efficient tensor dropout for approximate backpropagation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google