Optical Diffusion Models for Image Generation

要約

拡散モデルは、最初に提供されたランダムな分布からノイズを徐々に減少させることによって、新しいサンプルを生成します。
この推論手順では一般に、最終出力を取得するためにトレーニング済みのニューラル ネットワークを何度も利用するため、GPU などのデジタル電子ハードウェアで大幅な遅延とエネルギー消費が生じます。
この研究では、半透明媒体を通る光ビームの伝播をプログラムして、画像サンプルにノイズ除去拡散モデルを実装できることを実証します。
このフレームワークは、画像内の予測されたノイズ項のみを集合的に伝達する受動的回折光学層を通してノイズの多い画像パターンを投影します。
光学透明層はオンライン トレーニング アプローチでトレーニングされ、エラーをシステムの分析モデルに逆伝播しますが、受動的であり、ノイズ除去のさまざまなステップにわたって同じ状態に保たれます。
したがって、この方法は、光情報処理の帯域幅とエネルギー効率の恩恵を受けて、最小限の電力消費で高速画像生成を可能にします。

要約(オリジナル)

Diffusion models generate new samples by progressively decreasing the noise from the initially provided random distribution. This inference procedure generally utilizes a trained neural network numerous times to obtain the final output, creating significant latency and energy consumption on digital electronic hardware such as GPUs. In this study, we demonstrate that the propagation of a light beam through a semi-transparent medium can be programmed to implement a denoising diffusion model on image samples. This framework projects noisy image patterns through passive diffractive optical layers, which collectively only transmit the predicted noise term in the image. The optical transparent layers, which are trained with an online training approach, backpropagating the error to the analytical model of the system, are passive and kept the same across different steps of denoising. Hence this method enables high-speed image generation with minimal power consumption, benefiting from the bandwidth and energy efficiency of optical information processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google