Spatially Varying Nanophotonic Neural Networks

要約

人工知能の計算量とエネルギーコストの爆発的な増加により、従来の電子プロセッサに代わる可能性のある新しいコンピューティング方式への強い関心が高まっています。
電子の代わりに光子を使用して演算を実行するフォトニックプロセッサは、超低遅延と超低消費電力の光ニューラルネットワークを可能にすることが約束されています。
しかし、既存の光ニューラル ネットワークは、基盤となるネットワーク設計によって制限があり、最先端の電子ニューラル ネットワークの画像認識精度をはるかに下回っています。
この研究では、センサーに画像を記録する前にキャプチャ中にニューラル ネットワーク計算を実行するフラット カメラ光学系に大規模に並列化された光学計算を組み込むことで、このギャップを埋めています。
具体的には、大規模なカーネルを活用し、低次元の再パラメータ化手法によって学習された大規模なカーネルの空間的に変化する畳み込みニューラル ネットワークを提案します。
私たちは、角度依存応答を誘発するように設計されたナノフォトニック構造のアレイを包含するフラットなメタ光学システムを備えたネットワークを実験的にインスタンス化します。
約 2,000 個のパラメータを備えた非常に軽量な電子バックエンドと組み合わせることで、再構成可能なナノフォトニック ニューラル ネットワークが CIFAR-10 データセット上でブラインド テスト分類精度 72.76% に達することを実証しました。そのため、光学ニューラル ネットワークが初めて最新のデジタル ニューラル ネットワークを上回りました。
ニューラル ネットワーク — 5,700 万のパラメーターを備えた AlexNet (72.64\%)、現代の深層学習時代に光ニューラル ネットワークをもたらします。

要約(オリジナル)

The explosive growth of computation and energy cost of artificial intelligence has spurred strong interests in new computing modalities as potential alternatives to conventional electronic processors. Photonic processors that execute operations using photons instead of electrons, have promised to enable optical neural networks with ultra-low latency and power consumption. However, existing optical neural networks, limited by the underlying network designs, have achieved image recognition accuracy far below that of state-of-the-art electronic neural networks. In this work, we close this gap by embedding massively parallelized optical computation into flat camera optics that perform neural network computation during the capture, before recording an image on the sensor. Specifically, we harness large kernels and propose a large-kernel spatially-varying convolutional neural network learned via low-dimensional reparameterization techniques. We experimentally instantiate the network with a flat meta-optical system that encompasses an array of nanophotonic structures designed to induce angle-dependent responses. Combined with an extremely lightweight electronic backend with approximately 2K parameters we demonstrate a reconfigurable nanophotonic neural network reaches 72.76\% blind test classification accuracy on CIFAR-10 dataset, and, as such, the first time, an optical neural network outperforms the first modern digital neural network — AlexNet (72.64\%) with 57M parameters, bringing optical neural network into modern deep learning era.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google