Convolutional Differentiable Logic Gate Networks

要約

機械学習モデルの推論コストの増加に伴い、高速かつ効率的な推論を備えたモデルへの関心が高まっています。
最近、微分可能な緩和を介して論理ゲート ネットワークを直接学習するアプローチが提案されました。
論理ゲート ネットワークは、推論に現在のハードウェアの基礎となる構成要素である NAND、OR、XOR などの論理ゲート演算子のみを必要とし、効率的に実行できるため、従来のニューラル ネットワーク アプローチよりも高速です。
私たちはこのアイデアに基づいて、深い論理ゲート ツリーの畳み込み、論理 OR プーリング、および残差の初期化によってそれを拡張します。
これにより、論理ゲート ネットワークを 1 桁以上スケールアップし、畳み込みのパラダイムを利用することが可能になります。
CIFAR-10 では、わずか 6,100 万個の論理ゲートを使用して 86.29% の精度を達成しています。これは SOTA よりも向上しており、29 分の 1 の小型化を実現しています。

要約(オリジナル)

With the increasing inference cost of machine learning models, there is a growing interest in models with fast and efficient inference. Recently, an approach for learning logic gate networks directly via a differentiable relaxation was proposed. Logic gate networks are faster than conventional neural network approaches because their inference only requires logic gate operators such as NAND, OR, and XOR, which are the underlying building blocks of current hardware and can be efficiently executed. We build on this idea, extending it by deep logic gate tree convolutions, logical OR pooling, and residual initializations. This allows scaling logic gate networks up by over one order of magnitude and utilizing the paradigm of convolution. On CIFAR-10, we achieve an accuracy of 86.29% using only 61 million logic gates, which improves over the SOTA while being 29x smaller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google