Recurrent Super-Resolution Method for Enhancing Low Quality Thermal Facial Data

要約

同じシーンの 1 つまたは複数の低解像度画像から高解像度画像を取得するプロセスは、実世界の画像および信号処理アプリケーションにとって非常に興味深いものです。
この研究は、深層学習ベースの画像超解像アルゴリズムを熱データに使用して、車内の車両ドライバー監視システム用に高品質の熱画像結果を生成する可能性を探ることに関するものです。
この作業では、解像度を高め、非冷却サーマルカメラからキャプチャされた低解像度の赤外線画像データの品質を向上させるために、新しいマルチ画像超解像度リカレントニューラルネットワークを提案および開発しました。
エンド ツー エンドの完全な畳み込みニューラル ネットワークは、屋内環境条件で 30 の異なる被験者から新しく取得された熱データに基づいてゼロからトレーニングされます。
熱的に調整された超解像ネットワークの有効性は、6 人の異なる被験者のテスト データで定量的および定性的に検証されます。
このネットワークは、4 倍の超解像の検証データセットで 39.24 の平均ピーク信号対雑音比を達成することができ、量的および質的にバイキュービック補間よりも優れていました。

要約(オリジナル)

The process of obtaining high-resolution images from single or multiple low-resolution images of the same scene is of great interest for real-world image and signal processing applications. This study is about exploring the potential usage of deep learning based image super-resolution algorithms on thermal data for producing high quality thermal imaging results for in-cabin vehicular driver monitoring systems. In this work we have proposed and developed a novel multi-image super-resolution recurrent neural network to enhance the resolution and improve the quality of low-resolution thermal imaging data captured from uncooled thermal cameras. The end-to-end fully convolutional neural network is trained from scratch on newly acquired thermal data of 30 different subjects in indoor environmental conditions. The effectiveness of the thermally tuned super-resolution network is validated quantitatively as well as qualitatively on test data of 6 distinct subjects. The network was able to achieve a mean peak signal to noise ratio of 39.24 on the validation dataset for 4x super-resolution, outperforming bicubic interpolation both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google