An experimental comparative study of backpropagation and alternatives for training binary neural networks for image classification

要約

現在の人工ニューラル ネットワークは、推論時に多くのメモリ空間を占有する浮動小数点数としてエンコードされたパラメータを使用してトレーニングされます。
ディープラーニングモデルのサイズが増大したため、エッジデバイス上で人工ニューラルネットワークをトレーニングおよび使用することを検討することが非常に困難になってきています。
バイナリ ニューラル ネットワークは、ディープ ニューラル ネットワーク モデルのサイズを削減し、エネルギー消費を削減しながら推論速度を向上させることを約束します。
したがって、エッジ デバイス上でより強力なモデルを展開できる可能性があります。
ただし、バイナリ ニューラル ネットワークは、バックプロパゲーション ベースの勾配降下法を使用してトレーニングするのが難しいことが依然として証明されています。
この論文は \cite{crulis2023alternatives} の研究を拡張したもので、もともと連続ニューラル ネットワーク用に設計されたバックプロパゲーションの 2 つの有望な代替案をバイナリ ニューラル ネットワークに適応させることを提案し、それらを単純な画像分類データセットで実験しました。
この論文では、ImageNette データセットに関する新しい実験を提案し、画像分類のための 3 つの異なるモデル アーキテクチャを比較し、バックプロパゲーションに代わる 2 つの追加手法を追加します。

要約(オリジナル)

Current artificial neural networks are trained with parameters encoded as floating point numbers that occupy lots of memory space at inference time. Due to the increase in the size of deep learning models, it is becoming very difficult to consider training and using artificial neural networks on edge devices. Binary neural networks promise to reduce the size of deep neural network models, as well as to increase inference speed while decreasing energy consumption. Thus, they may allow the deployment of more powerful models on edge devices. However, binary neural networks are still proven to be difficult to train using the backpropagation-based gradient descent scheme. This paper extends the work of \cite{crulis2023alternatives}, which proposed adapting to binary neural networks two promising alternatives to backpropagation originally designed for continuous neural networks, and experimented with them on simple image classification datasets. This paper proposes new experiments on the ImageNette dataset, compares three different model architectures for image classification, and adds two additional alternatives to backpropagation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google