Lightweight Inference for Forward-Forward Algorithm

要約

人間の脳は、優れたエネルギー効率、つまり約 20 ワットでタスクを実行します。
一方、最先端の人工/ディープ ニューラル ネットワーク (ANN/DNN) は、大量のエネルギーを消費することが最近判明しました。
これらの ANN/DNN のトレーニングは、生物学的にありえないことが知られているバックプロパゲーション アルゴリズムに基づいてほぼ独占的に行われます。
これにより、Forward-Forward アルゴリズムなどの新世代の順方向のみの手法が誕生しました。
この論文では、Forward-Forward アルゴリズムを使用してトレーニングされた DNN 向けに特別に設計された軽量推論スキームを提案します。
私たちは、MNIST および CIFAR データセットの場合に提案した軽量推論スキームと、ウェアラブル技術を使用したてんかん発作検出と心臓不整脈分類という 2 つの現実世界のアプリケーションを評価しました。これらのアプリケーションでは、複雑さのオーバーヘッド/エネルギー消費が主な制約となっています。
、その関連性を実証します。

要約(オリジナル)

The human brain performs tasks with an outstanding energy-efficiency, i.e., with approximately 20 Watts. The state-of-the-art Artificial/Deep Neural Networks (ANN/DNN), on the other hand, have recently been shown to consume massive amounts of energy. The training of these ANNs/DNNs is done almost exclusively based on the back-propagation algorithm, which is known to be biologically implausible. This has led to a new generation of forward-only techniques, including the Forward-Forward algorithm. In this paper, we propose a lightweight inference scheme specifically designed for DNNs trained using the Forward-Forward algorithm. We have evaluated our proposed lightweight inference scheme in the case of the MNIST and CIFAR datasets, as well as two real-world applications, namely, epileptic seizure detection and cardiac arrhythmia classification using wearable technologies, where complexity overheads/energy consumption is a major constraint, and demonstrate its relevance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google