Memorization Capacity of Neural Networks with Conditional Computation

要約

多くの実証研究により、推論時間や消費電力の削減など、ニューラル ネットワークにおける条件付き計算のパフォーマンス上の利点が実証されています。
記憶容量の観点からニューラル条件付き計算の基本的な限界を研究します。
条件付き計算のない Rectified Linear Unit (ReLU) ネットワークの場合、$O(\sqrt{n})$ ニューロンを使用したニューラル ネットワークを介して、$n$ の入出力関係のコレクションを記憶できることが知られています。
このニューラル ネットワークの出力の計算は、各入力に対する加算、乗算、および比較の $O(\sqrt{n})$ 初等算術演算を使用して行うことができます。
条件付き ReLU ネットワークを使用して、入力ごとに $O(\log n)$ 操作のみを使用して同じタスクを達成できることを示します。
これは、条件付き計算のないネットワークと比較して、ほぼ指数関数的な改善を表しています。
また、$\Theta(\log n)$ レートが可能な限り最高であることも示しています。
達成可能性の結果は、一般的な方法論を利用して、計算効率の高い方法で無条件ネットワークから条件付きネットワークを合成し、無条件アーキテクチャと条件付きアーキテクチャの間のギャップを埋めます。

要約(オリジナル)

Many empirical studies have demonstrated the performance benefits of conditional computation in neural networks, including reduced inference time and power consumption. We study the fundamental limits of neural conditional computation from the perspective of memorization capacity. For Rectified Linear Unit (ReLU) networks without conditional computation, it is known that memorizing a collection of $n$ input-output relationships can be accomplished via a neural network with $O(\sqrt{n})$ neurons. Calculating the output of this neural network can be accomplished using $O(\sqrt{n})$ elementary arithmetic operations of additions, multiplications and comparisons for each input. Using a conditional ReLU network, we show that the same task can be accomplished using only $O(\log n)$ operations per input. This represents an almost exponential improvement as compared to networks without conditional computation. We also show that the $\Theta(\log n)$ rate is the best possible. Our achievability result utilizes a general methodology to synthesize a conditional network out of an unconditional network in a computationally-efficient manner, bridging the gap between unconditional and conditional architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google