Turbulence Strength $C_n^2$ Estimation from Video using Physics-based Deep Learning

要約

長距離から撮影した画像は、温度がランダムな空気セルの乱流により、屈折率が変化するため、動的画像の歪みが発生します。
イメージダンシングとして知られるこの現象は、一般に乱流の強さの尺度としての屈折率構造定数 $C_n^2$ によって特徴付けられます。
大気予報モデル、長距離/天文イメージング、航空安全、光通信技術などの多くのアプリケーションにとって、$C_n^2$ 推定は乱流環境を正確に感知するために重要です。
$C_n^2$ 推定のこれまでの方法には、単一点測定のための気象データ (温度、相対湿度、ウィンドシアなど) からの推定、経路平均 $C_n^2$ のための光学シンチロメーターによる両端光路長測定、
さらに最近では、低コストとハードウェアの複雑さからパッシブ ビデオ カメラから $C_n^2$ を見積もっています。
この論文では、$C_n^2$ 推定のための古典的な画像勾配法と、畳み込みニューラル ネットワークを活用した最新の深層学習ベースの手法の比較分析を紹介します。
これを可能にするために、私たちはビデオ キャプチャのデータセットとグラウンド トゥルースの基準シンチロメーター測定値を収集し、このユニークなデータセットを科学コミュニティに公開します。
深層学習手法は、同様のデータでトレーニングするとより高い精度を達成できますが、従来の手法と比較して、他の目に見えない画像に対する一般化エラーが発生することが観察されています。
このトレードオフを克服するために、学習した畳み込み層と、画像データセット全体で一般化可能でありながら高精度を維持する微分可能な画像勾配法を組み合わせた、新しい物理ベースのネットワーク アーキテクチャを提案します。

要約(オリジナル)

Images captured from a long distance suffer from dynamic image distortion due to turbulent flow of air cells with random temperatures, and thus refractive indices. This phenomenon, known as image dancing, is commonly characterized by its refractive-index structure constant $C_n^2$ as a measure of the turbulence strength. For many applications such as atmospheric forecast model, long-range/astronomy imaging, and aviation safety, optical communication technology, $C_n^2$ estimation is critical for accurately sensing the turbulent environment. Previous methods for $C_n^2$ estimation include estimation from meteorological data (temperature, relative humidity, wind shear, etc.) for single-point measurements, two-ended pathlength measurements from optical scintillometer for path-averaged $C_n^2$, and more recently estimating $C_n^2$ from passive video cameras for low cost and hardware complexity. In this paper, we present a comparative analysis of classical image gradient methods for $C_n^2$ estimation and modern deep learning-based methods leveraging convolutional neural networks. To enable this, we collect a dataset of video capture along with reference scintillometer measurements for ground truth, and we release this unique dataset to the scientific community. We observe that deep learning methods can achieve higher accuracy when trained on similar data, but suffer from generalization errors to other, unseen imagery as compared to classical methods. To overcome this trade-off, we present a novel physics-based network architecture that combines learned convolutional layers with a differentiable image gradient method that maintains high accuracy while being generalizable across image datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google