Learning rich optical embeddings for privacy-preserving lensless image classification

要約

レンズを薄い光学素子に置き換えることで、レンズレスイメージングにより、従来のカメラ設計や後処理でサポートされているものを超える新しいアプリケーションやソリューションが可能になります。
コンパクトで軽量なフォームファクタと視覚的なプライバシー。
後者は、レンズレスカメラの高度に多重化された測定から生じます。これには、認識可能な画像を復元するためのイメージングシステムの知識が必要です。
この作業では、この独自の多重化特性を活用します。つまり、カメラセンサーで直接学習した埋め込みを生成するエンコーダーとして光学系をキャストします。
これは、エンコーダーのパラメーターと画像分類器のパラメーターをエンドツーエンドで共同で最適化する画像分類のコンテキストで行います。
私たちの実験では、レンズレス光学式エンコーダとデジタル処理を共同で学習することで、センサーでの低解像度の埋め込みが可能になり、これらの測定から意味のある画像を復元することがはるかに困難になるため、プライバシーが向上することが示されています。
追加の実験は、そのような最適化が典型的な実世界の画像変換に対してよりロバストなレンズレス測定を可能にすることを示しています。
この作業は分類に焦点を当てていますが、提案されたプログラム可能なレンズレスカメラとエンドツーエンドの最適化は、他の計算イメージングタスクに適用できます。

要約(オリジナル)

By replacing the lens with a thin optical element, lensless imaging enables new applications and solutions beyond those supported by traditional camera design and post-processing, e.g. compact and lightweight form factors and visual privacy. The latter arises from the highly multiplexed measurements of lensless cameras, which require knowledge of the imaging system to recover a recognizable image. In this work, we exploit this unique multiplexing property: casting the optics as an encoder that produces learned embeddings directly at the camera sensor. We do so in the context of image classification, where we jointly optimize the encoder’s parameters and those of an image classifier in an end-to-end fashion. Our experiments show that jointly learning the lensless optical encoder and the digital processing allows for lower resolution embeddings at the sensor, and hence better privacy as it is much harder to recover meaningful images from these measurements. Additional experiments show that such an optimization allows for lensless measurements that are more robust to typical real-world image transformations. While this work focuses on classification, the proposed programmable lensless camera and end-to-end optimization can be applied to other computational imaging tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google