要約
超解像 (SR) の最新の進歩は、主に超解像の地球観測 (EO) 画像のタスクには使用されない、顔、風景、オブジェクトなどの汎用画像でテストされています。
この研究論文では、完全参照と非参照の両方の画像品質評価 (IQA) メトリックを使用して、個別の EO データセットの最先端の SR アルゴリズムのベンチマークを行います。
また、画像の任意のプロパティ (つまり、解像度、歪みなど) をトレーニングすることで品質を (非参照メトリックとして) 予測でき、最適化もできる新しい品質メトリック回帰ネットワーク (QMRNet) を提案します。
特定のメトリック目標の SR アルゴリズム。
この作業は、画像品質、オブジェクトの検出と分類、および EO ユース ケースでの画像圧縮を評価するために開発されたフレームワーク IQUAFLOW の実装の一部です。
実験を統合し、QMRNet アルゴリズムをテストして、ぼかし、シャープネス、snr、rer、地上サンプリング距離 (GSD) などの機能を予測し、1.0 未満 (N=50 中) の検証 medR と 95\% を超える再現率を取得しました。
全体的なベンチマークは、LIIF、CAR、MSRN の有望な結果と、SR 予測を最適化するための損失として QMRNet を使用する可能性を示しています。
そのシンプルさにより、QMRNet は、そのアーキテクチャとデータ処理が完全にスケーラブルであるため、他のユース ケースやイメージ ドメインにも使用できます。
要約(オリジナル)
Latest advances in Super-Resolution (SR) have been tested with general purpose images such as faces, landscapes and objects, mainly unused for the task of super-resolving Earth Observation (EO) images. In this research paper, we benchmark state-of-the-art SR algorithms for distinct EO datasets using both Full-Reference and No-Reference Image Quality Assessment (IQA) metrics. We also propose a novel Quality Metric Regression Network (QMRNet) that is able to predict quality (as a No-Reference metric) by training on any property of the image (i.e. its resolution, its distortions…) and also able to optimize SR algorithms for a specific metric objective. This work is part of the implementation of the framework IQUAFLOW which has been developed for evaluating image quality, detection and classification of objects as well as image compression in EO use cases. We integrated our experimentation and tested our QMRNet algorithm on predicting features like blur, sharpness, snr, rer and ground sampling distance (GSD) and obtain validation medRs below 1.0 (out of N=50) and recall rates above 95\%. Overall benchmark shows promising results for LIIF, CAR and MSRN and also the potential use of QMRNet as Loss for optimizing SR predictions. Due to its simplicity, QMRNet could also be used for other use cases and image domains, as its architecture and data processing is fully scalable.
arxiv情報
| 著者 | David Berga,Pau Gallés,Katalin Takáts,Eva Mohedano,Laura Riordan-Chen,Clara Garcia-Moll,David Vilaseca,Javier Marín |
| 発行日 | 2022-10-14 13:46:08+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google