MIMONets: Multiple-Input-Multiple-Output Neural Networks Exploiting Computation in Superposition

要約

深層学習の出現により、複雑なタスクを解決するために、ニューラル ネットワークが徐々に大規模化するように設計されてきました。
これらの容量豊富なモデルを利用して、重ね合わせの計算を活用することで推論のコストを削減します。
入力ごとの計算負荷を軽減するために、一度に多くの入力を処理できる多入力多出力ニューラル ネットワーク (MIMONets) を提案します。
MIMONets は、可変バインディング メカニズムを使用してさまざまなディープ ニューラル ネットワーク アーキテクチャを拡張し、固定幅の分散表現を介して構成データ構造内の任意の数の入力を表します。
したがって、MIMONet は非線形ニューラル変換を​​適用してデータ構造を総合的に処理し、データ構造内で重ね合わされた入力項目の数にほぼ比例して速度が向上します。
重ね合わせで処理した後、アンバインド メカニズムにより、変換された対象の入力がそれぞれ復元されます。
MIMONets は、単一セットの固定パラメータ内で、一連の精度とスループットの動作点の間で瞬時にオンデマンドで切り替えることにより、精度とスループットの間の動的なトレードオフも提供します。
MIMONet の概念を CNN アーキテクチャと Transformer アーキテクチャの両方に適用し、それぞれ MIMOConv と MIMOFormer を実現します。
経験的評価によると、MIMOConv は、CIFAR10 および CIFAR100 の WideResNet CNN と比較して、[+0.68, -3.18]% 以内の精度デルタで約 2 ～ 4 倍の高速化を達成します。
同様に、MIMOFormer は、長距離アリーナ ベンチマークで [-1.07, -3.43]% デルタ以内の高い平均精度を維持しながら、一度に 2 ～ 4 つの入力を処理できます。
最後に、MIMOFormer の重ね合わせチャネル間の干渉に関する数学的限界を提供します。
私たちのコードは https://github.com/IBM/multiple-input-multiple-output-nets で入手できます。

要約(オリジナル)

With the advent of deep learning, progressively larger neural networks have been designed to solve complex tasks. We take advantage of these capacity-rich models to lower the cost of inference by exploiting computation in superposition. To reduce the computational burden per input, we propose Multiple-Input-Multiple-Output Neural Networks (MIMONets) capable of handling many inputs at once. MIMONets augment various deep neural network architectures with variable binding mechanisms to represent an arbitrary number of inputs in a compositional data structure via fixed-width distributed representations. Accordingly, MIMONets adapt nonlinear neural transformations to process the data structure holistically, leading to a speedup nearly proportional to the number of superposed input items in the data structure. After processing in superposition, an unbinding mechanism recovers each transformed input of interest. MIMONets also provide a dynamic trade-off between accuracy and throughput by an instantaneous on-demand switching between a set of accuracy-throughput operating points, yet within a single set of fixed parameters. We apply the concept of MIMONets to both CNN and Transformer architectures resulting in MIMOConv and MIMOFormer, respectively. Empirical evaluations show that MIMOConv achieves about 2-4 x speedup at an accuracy delta within [+0.68, -3.18]% compared to WideResNet CNNs on CIFAR10 and CIFAR100. Similarly, MIMOFormer can handle 2-4 inputs at once while maintaining a high average accuracy within a [-1.07, -3.43]% delta on the long range arena benchmark. Finally, we provide mathematical bounds on the interference between superposition channels in MIMOFormer. Our code is available at https://github.com/IBM/multiple-input-multiple-output-nets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google