Fault-Tolerant Neural Networks from Biological Error Correction Codes

要約

フォールトトレラントな計算が可能かどうかは、深層学習において未解決の疑問でした。信頼性の低いニューロンのみを使用して、任意に信頼できる計算を達成できるのでしょうか?
哺乳類の皮質のグリッド細胞では、神経スパイクノイズから状態を保護するアナログ誤り訂正符号が観察されていますが、情報処理におけるその役割は不明です。
ここでは、これらの生物学的エラー修正コードを使用して、各ニューロンの欠陥が明確なしきい値を下回っている場合に信頼性の高い計算を実現する汎用フォールトトレラント ニューラル ネットワークを開発します。
驚くべきことに、ノイズの多い生物学的ニューロンはこの閾値を下回ることがわかりました。
欠陥のあるニューラル計算からフォールトトレラントなニューラル計算への相転移の発見は、皮質における信頼性の高い計算のメカニズムを示唆し、人工知能やニューロモーフィック コンピューティングに関連するノイズの多いアナログ システムの理解への道を開きます。

要約(オリジナル)

It has been an open question in deep learning if fault-tolerant computation is possible: can arbitrarily reliable computation be achieved using only unreliable neurons? In the grid cells of the mammalian cortex, analog error correction codes have been observed to protect states against neural spiking noise, but their role in information processing is unclear. Here, we use these biological error correction codes to develop a universal fault-tolerant neural network that achieves reliable computation if the faultiness of each neuron lies below a sharp threshold; remarkably, we find that noisy biological neurons fall below this threshold. The discovery of a phase transition from faulty to fault-tolerant neural computation suggests a mechanism for reliable computation in the cortex and opens a path towards understanding noisy analog systems relevant to artificial intelligence and neuromorphic computing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google