Multilinear Operator Networks

要約

画像認識におけるディープ ニューラル ネットワークの優れた機能にもかかわらず、活性化関数への依存は依然としてほとんど未開拓の領域であり、まだ解消されていません。
一方、多項式ネットワークは、活性化関数を必要としないモデルのクラスですが、まだ最新のアーキテクチャと同等の性能を発揮することはできません。
この研究では、このギャップを埋めることを目指し、多重線形演算子のみに依存する MONet を提案します。
Mu-Layer と呼ばれる MONet のコア層は、入力トークンの要素の乗算相互作用をキャプチャします。
MONet は入力要素の高度な相互作用をキャプチャし、一連の画像認識と科学計算ベンチマークに対するアプローチの有効性を実証します。
提案されたモデルは、以前の多項式ネットワークよりも優れたパフォーマンスを発揮し、最新のアーキテクチャと同等のパフォーマンスを発揮します。
私たちは、MONet が完全に多重線形演算を使用するモデルのさらなる研究を促すことができると信じています。

要約(オリジナル)

Despite the remarkable capabilities of deep neural networks in image recognition, the dependence on activation functions remains a largely unexplored area and has yet to be eliminated. On the other hand, Polynomial Networks is a class of models that does not require activation functions, but have yet to perform on par with modern architectures. In this work, we aim close this gap and propose MONet, which relies solely on multilinear operators. The core layer of MONet, called Mu-Layer, captures multiplicative interactions of the elements of the input token. MONet captures high-degree interactions of the input elements and we demonstrate the efficacy of our approach on a series of image recognition and scientific computing benchmarks. The proposed model outperforms prior polynomial networks and performs on par with modern architectures. We believe that MONet can inspire further research on models that use entirely multilinear operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google