Quantized neural network for complex hologram generation

要約

コンピュータ生成ホログラフィー (CGH) は、ヘッドマウント ディスプレイやヘッドアップ ディスプレイなどの拡張現実ディスプレイ用の有望な技術です。
ただし、計算要求が高いため、実装は非現実的です。
ニューラル ネットワークを CGH に統合する最近の取り組みにより、計算速度の高速化に成功し、計算コストと画質の間のトレードオフを克服できる可能性が実証されました。
それにもかかわらず、ニューラル ネットワーク ベースの CGH アルゴリズムを計算能力が制限された組み込みシステムに展開するには、計算コスト、メモリ フットプリント、消費電力が低い、より効率的なモデルが必要です。
この研究では、ニューラルネットワーク量子化を導入することにより、複雑なホログラム生成のための軽量モデルを開発しました。
具体的には、テンソル ホログラフィーに基づいてモデルを構築し、それを 32 ビット浮動小数点精度 (FP32) から 8 ビット整数精度 (INT8) に量子化しました。
性能評価の結果、提案するINT8モデルはFP32モデルと同等のホログラム品質を実現しながら、モデルサイズを約70%削減し、速度を4倍に高めていることがわかりました。
さらに、INT8 モデルをシステムオンモジュールに実装し、組み込みプラットフォームへの導入可能性と高い電力効率を実証しました。

要約(オリジナル)

Computer-generated holography (CGH) is a promising technology for augmented reality displays, such as head-mounted or head-up displays. However, its high computational demand makes it impractical for implementation. Recent efforts to integrate neural networks into CGH have successfully accelerated computing speed, demonstrating the potential to overcome the trade-off between computational cost and image quality. Nevertheless, deploying neural network-based CGH algorithms on computationally limited embedded systems requires more efficient models with lower computational cost, memory footprint, and power consumption. In this study, we developed a lightweight model for complex hologram generation by introducing neural network quantization. Specifically, we built a model based on tensor holography and quantized it from 32-bit floating-point precision (FP32) to 8-bit integer precision (INT8). Our performance evaluation shows that the proposed INT8 model achieves hologram quality comparable to that of the FP32 model while reducing the model size by approximately 70% and increasing the speed fourfold. Additionally, we implemented the INT8 model on a system-on-module to demonstrate its deployability on embedded platforms and high power efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google