SS-SFR: Synthetic Scenes Spatial Frequency Response on Virtual KITTI and Degraded Automotive Simulations for Object Detection

要約

自動車シミュレーションは、コンピューター ビジョン アプリケーションにおけるトレーニング データの不足を潜在的に補うことができます。
しかし、自動車シミュレーションの画質評価はほとんど行われておらず、シミュレーションに対する光学劣化の影響はほとんど調査されていません。
この研究では、仮想 KITTI と、ガウスぼかしのバリエーションを適用した場合の画像の鮮明さへの影響を調査します。
さらに、3 つの異なる最先端モデルで一般的なコンピューター ビジョン アプリケーションである物体検出を考慮することで、物体検出と鮮明度の関係を特徴付けることができます。
画像の鮮明さ (MTF50) は平均 0.245cy/px から約 0.119cy/px まで低下することがわかりました。
物体検出のパフォーマンスは、すべてのホールドアウト テスト セットにわたって、0.58\%(Faster RCNN)、1.45\%(YOLOF)、および 1.93\%(DETR) 以内でほぼ安定しています。

要約(オリジナル)

Automotive simulation can potentially compensate for a lack of training data in computer vision applications. However, there has been little to no image quality evaluation of automotive simulation and the impact of optical degradations on simulation is little explored. In this work, we investigate Virtual KITTI and the impact of applying variations of Gaussian blur on image sharpness. Furthermore, we consider object detection, a common computer vision application on three different state-of-the-art models, thus allowing us to characterize the relationship between object detection and sharpness. It was found that while image sharpness (MTF50) degrades from an average of 0.245cy/px to approximately 0.119cy/px; object detection performance stays largely robust within 0.58\%(Faster RCNN), 1.45\%(YOLOF) and 1.93\%(DETR) across all respective held-out test sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google