Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing

要約

不揮発性メモリスタを使用したアナログ コンピューティングは、エネルギー効率の高いディープ ラーニングの有望なソリューションとして浮上しています。
ペロブスカイトベースのメモリスタなどの新材料は、その費用対効果、エネルギー効率、柔軟性により最近魅力的となっています。
しかし、材料の多様性と未熟な製造における課題により、デバイス開発には広範な実験が必要です。
さらに、これらのメモリスタの重大な非理想性により、コンピューティングが妨げられることがよくあります。
ここでは、ペロブスカイト メモリスタ製造の最適化と、これらのメモリスタ固有の非理想性に効果的に対処する堅牢なアナログ DNN の開発を同時に行うための相乗的な方法論を提案します。
使いやすさを重視したベイジアン最適化（BO）を採用し、ペロブスカイトメモリスタに最適な材料や作製条件を効率的に特定します。
一方、私たちは、メモリスタ欠陥に対するアナログ DNN の耐性を向上させるために、BO ガイドによるノイズ注入を利用した DNN トレーニング戦略である「BayesMulti」を開発しました。
私たちのアプローチは理論的には、メモリスタの非理想性によるパラメータの摂動の一定範囲内で、予測結果が一貫したままであることを保証します。
当社の統合アプローチにより、より深く幅広いネットワークでのアナログ コンピューティングの使用が可能になり、画像分類、自動運転、種の識別、大規模な視覚言語モデルなどのさまざまなタスクにおいて既存の方法を大幅に上回り、最大 100 倍の改善を達成します。
さらに、10$\times$10 で最適化されたペロブスカイト メモリスタ クロスバーで方法論を検証し、分類タスクの高精度と低エネルギー消費を実証します。
この研究は、デバイスとアルゴリズムの両方を含む、さまざまなアナログ コンピューティング システムを効率的に最適化するための多用途のソリューションを提供します。

要約(オリジナル)

Analog computing using non-volatile memristors has emerged as a promising solution for energy-efficient deep learning. New materials, like perovskites-based memristors are recently attractive due to their cost-effectiveness, energy efficiency and flexibility. Yet, challenges in material diversity and immature fabrications require extensive experimentation for device development. Moreover, significant non-idealities in these memristors often impede them for computing. Here, we propose a synergistic methodology to concurrently optimize perovskite memristor fabrication and develop robust analog DNNs that effectively address the inherent non-idealities of these memristors. Employing Bayesian optimization (BO) with a focus on usability, we efficiently identify optimal materials and fabrication conditions for perovskite memristors. Meanwhile, we developed ‘BayesMulti’, a DNN training strategy utilizing BO-guided noise injection to improve the resistance of analog DNNs to memristor imperfections. Our approach theoretically ensures that within a certain range of parameter perturbations due to memristor non-idealities, the prediction outcomes remain consistent. Our integrated approach enables use of analog computing in much deeper and wider networks, which significantly outperforms existing methods in diverse tasks like image classification, autonomous driving, species identification, and large vision-language models, achieving up to 100-fold improvements. We further validate our methodology on a 10$\times$10 optimized perovskite memristor crossbar, demonstrating high accuracy in a classification task and low energy consumption. This study offers a versatile solution for efficient optimization of various analog computing systems, encompassing both devices and algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google