Real-time Noise Source Estimation of a Camera System from an Image and Metadata

要約

自律走行する機械は、人間と機械自身の安全を確保するために、適切な機能を自己維持しなければならない。これは特に、環境を認識し行動をサポートする主要なセンサーであるカメラに関係している。本研究で扱うカメラの基本的な問題はノイズである。多くの場合、解決策は事後的に画像をノイズ除去すること、つまり根本的な原因ではなく症状に対処することに重点を置いている。しかし、根本的な原因に対処するには、モバイルプラットフォームの制限を考慮し、ノイズ源を特定する必要がある。この研究では、データベースと物理ベースのモデルを組み合わせた、リアルタイムでメモリ効率が高く、信頼性の高いノイズ源推定器を検討する。この目的のために、主要なカメラノイズ源をカメラのメタデータとともに画像を検査するDNNを構築し、学習させる。さらに、画像ノイズやメタデータに影響を与える予期せぬ要因を定量化する。この研究では、合成ノイズ、2つのカメラシステムからの実ノイズ、実際のフィールドキャンペーンを含む6つのデータセットについて、7つの異なる推定量を調査した。その結果、最も多くのメタデータを持つモデルのみが、全てのノイズの寄与を正確かつ頑健に定量化することができた。この方法は、画像全体のノイズ推定を凌駕し、プラグアンドプレイで導入することができます。また、より高度なノイズソースを含めるための基礎として、あるいは完全に信頼できる機械に近づくための自動対策フィードバックループの一部として役立ちます。

要約(オリジナル)

Autonomous machines must self-maintain proper functionality to ensure the safety of humans and themselves. This pertains particularly to its cameras as predominant sensors to perceive the environment and support actions. A fundamental camera problem addressed in this study is noise. Solutions often focus on denoising images a posteriori, that is, fighting symptoms rather than root causes. However, tackling root causes requires identifying the noise sources, considering the limitations of mobile platforms. This work investigates a real-time, memory-efficient and reliable noise source estimator that combines data- and physically-based models. To this end, a DNN that examines an image with camera metadata for major camera noise sources is built and trained. In addition, it quantifies unexpected factors that impact image noise or metadata. This study investigates seven different estimators on six datasets that include synthetic noise, real-world noise from two camera systems, and real field campaigns. For these, only the model with most metadata is capable to accurately and robustly quantify all individual noise contributions. This method outperforms total image noise estimators and can be plug-and-play deployed. It also serves as a basis to include more advanced noise sources, or as part of an automatic countermeasure feedback-loop to approach fully reliable machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL