The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection

要約

ほとんどのカメラ レンズ システムは、ダウンストリームのコンピューター ビジョン手法とは別に、分離して設計されています。
最近では、画像取得および処理パイプラインの他のコンポーネント (特にダウンストリーム ニューラル ネットワーク) と共にレンズを設計する共同最適化アプローチにより、画像品質の向上またはビジョン タスクのパフォーマンスの向上が達成されています。
ただし、これらの既存の方法は、レンズ パラメーターのサブセットのみを最適化し、ガラス材料を最適化することはできません。
この作業では、幾何学的収差を正確に捉える微分可能な球面レンズ シミュレーション モデルを開発します。
レンズ設計の課題に対処するための最適化戦略を提案します-非凸損失関数ランドスケープと多くの製造上の制約で悪名高い-共同最適化タスクで悪化します。
具体的には、量子化された連続ガラス変数を導入して、エンドツーエンドの設計コンテキストでガラス材料の最適化と選択を容易にし、これを慎重に設計された制約と組み合わせて製造可能性をサポートします。
自動車の物体検出では、設計を 2 要素または 3 要素のレンズに単純化した場合でも、画質が大幅に低下するにもかかわらず、既存の設計よりも検出性能が向上することを示しています。
コードと光学設計は公開されます。

要約(オリジナル)

Most camera lens systems are designed in isolation, separately from downstream computer vision methods. Recently, joint optimization approaches that design lenses alongside other components of the image acquisition and processing pipeline — notably, downstream neural networks — have achieved improved imaging quality or better performance on vision tasks. However, these existing methods optimize only a subset of lens parameters and cannot optimize glass materials given their categorical nature. In this work, we develop a differentiable spherical lens simulation model that accurately captures geometrical aberrations. We propose an optimization strategy to address the challenges of lens design — notorious for non-convex loss function landscapes and many manufacturing constraints — that are exacerbated in joint optimization tasks. Specifically, we introduce quantized continuous glass variables to facilitate the optimization and selection of glass materials in an end-to-end design context, and couple this with carefully designed constraints to support manufacturability. In automotive object detection, we show improved detection performance over existing designs even when simplifying designs to two- or three-element lenses, despite significantly degrading the image quality. Code and optical designs will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google