Examining the Impact of Optical Aberrations to Image Classification and Object Detection Models

要約

Deep Neural Networks（DNNS）は、さまざまなコンピュータービジョンアプリケーションで成功することが証明されており、モデルが安全性の高い状況でも推測されるようになりました。
したがって、ビジョンモデルは、ノイズやぼやけなどの乱れに堅牢な方法で動作する必要があります。
モデルの堅牢性を多様な腐敗に対するモデルの堅牢性を評価するために存在する独創的なベンチマークが存在しますが、ぼかしは、光学システムに起因する異なるぼやけのカーネル形状を無視しながら、過度に単純化する方法でデフォーカスをモデル化することがよくあります。
現実的な光学的ぼやけ効果に対するモデルの堅牢性を研究するために、このペーパーでは、ぼかし腐敗の2つのデータセットを提案します。これについては、光学ベンチとレンズ腐敗を示します。
Opticsbenchは、com睡、デフォーカス、乱視などの主要な異常、つまり、ゼルニケ多項式の単一パラメーターを変化させることによって表される可能性のある異常を調べます。
一次異常の原則的だが合成的な設定を超えるために、レンズカル腐敗は、100個の実際のレンズに対応するゼルニケ多項式に及ぶベクトル空間の線形組み合わせをサンプルします。
ImagenetとMSCOCOでの画像分類とオブジェクト検出の評価は、さまざまな事前訓練されたモデルでは、光学ベンチとレンズの腐敗のパフォーマンスが大きく異なることを示しています。

要約(オリジナル)

Deep neural networks (DNNs) have proven to be successful in various computer vision applications such that models even infer in safety-critical situations. Therefore, vision models have to behave in a robust way to disturbances such as noise or blur. While seminal benchmarks exist to evaluate model robustness to diverse corruptions, blur is often approximated in an overly simplistic way to model defocus, while ignoring the different blur kernel shapes that result from optical systems. To study model robustness against realistic optical blur effects, this paper proposes two datasets of blur corruptions, which we denote OpticsBench and LensCorruptions. OpticsBench examines primary aberrations such as coma, defocus, and astigmatism, i.e. aberrations that can be represented by varying a single parameter of Zernike polynomials. To go beyond the principled but synthetic setting of primary aberrations, LensCorruptions samples linear combinations in the vector space spanned by Zernike polynomials, corresponding to 100 real lenses. Evaluations for image classification and object detection on ImageNet and MSCOCO show that for a variety of different pre-trained models, the performance on OpticsBench and LensCorruptions varies significantly, indicating the need to consider realistic image corruptions to evaluate a model’s robustness against blur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google