QuATON: Quantization Aware Training of Optical Neurons

要約

「光ニューロン」で構築された光プロセッサは、高次元の線形演算を光の速度で効率的に実行できます。
したがって、これらは大規模な線形計算を高速化するための有望な手段となります。
現在の微細加工の進歩により、このような光学プロセッサは 3D 加工できるようになりましたが、精度には限界があります。
この制限は、光学ニューロンの学習可能なパラメータの量子化に変換され、モデルの不一致を避けるために、光学プロセッサの設計中に処理する必要があります。
具体的には、光学ニューロンは、事前定義された量子化精度レベルで物理的制約内でトレーニングまたは設計される必要があります。
この重要な問題に対処するために、物理学に基づいた量子化を意識したトレーニング フレームワークを提案します。
私たちのアプローチでは、トレーニング プロセス中の物理的制約を考慮し、堅牢な設計を実現します。
我々のアプローチは、量子化された学習可能なパラメータにもかかわらず、複数の物理ベースのタスクに対して回折ネットワークを使用して最先端の光プロセッサを設計できることを実証します。
このようにして、我々は、改良された光プロセッサが将来 3D 製造される可能性がある基礎を築きました。

要約(オリジナル)

Optical processors, built with ‘optical neurons’, can efficiently perform high-dimensional linear operations at the speed of light. Thus they are a promising avenue to accelerate large-scale linear computations. With the current advances in micro-fabrication, such optical processors can now be 3D fabricated, but with a limited precision. This limitation translates to quantization of learnable parameters in optical neurons, and should be handled during the design of the optical processor in order to avoid a model mismatch. Specifically, optical neurons should be trained or designed within the physical-constraints at a predefined quantized precision level. To address this critical issues we propose a physics-informed quantization-aware training framework. Our approach accounts for physical constraints during the training process, leading to robust designs. We demonstrate that our approach can design state of the art optical processors using diffractive networks for multiple physics based tasks despite quantized learnable parameters. We thus lay the foundation upon which improved optical processors may be 3D fabricated in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google