ELSA: Partial Weight Freezing for Overhead-Free Sparse Network Deployment

要約

私たちは、さまざまなレベルの疎性で簡単に展開できる深いネットワークを作成するための実用的なソリューションである ELSA を紹介します。
中心となるアイデアは、重みの適切なサブセットとして 1 つ以上の疎ネットワークを 1 つの密ネットワーク内に埋め込むことです。
予測時には、事前定義されたマスクに従って重みをゼロにするだけで、任意のスパース モデルを簡単に抽出できます。
ELSA はシンプル、強力、そして柔軟性が非常に優れています。
基本的に、ネットワークのスパース化とネットワークのトレーニングに既存のあらゆる手法を使用できます。
特に、損失関数、アーキテクチャ、または最適化手法を制限するものではありません。
私たちの実験では、柔軟な展開という ELSA の利点により、個別にトレーニングおよび保存された複数の疎ネットワークを使用する標準的な方法と比較して、予測品質の低下がまったくないか、ごくわずかであることが示されています。

要約(オリジナル)

We present ELSA, a practical solution for creating deep networks that can easily be deployed at different levels of sparsity. The core idea is to embed one or more sparse networks within a single dense network as a proper subset of the weights. At prediction time, any sparse model can be extracted effortlessly simply be zeroing out weights according to a predefined mask. ELSA is simple, powerful and highly flexible. It can use essentially any existing technique for network sparsification and network training. In particular, it does not restrict the loss function, architecture or the optimization technique. Our experiments show that ELSA’s advantages of flexible deployment comes with no or just a negligible reduction in prediction quality compared to the standard way of using multiple sparse networks that are trained and stored independently.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google