Structural Similarity in Deep Features: Image Quality Assessment Robust to Geometrically Disparate Reference

要約

リファレンスを使用した画質評価 (IQA) は、コンピューター ビジョン タスクの最適化と評価において重要な役割を果たします。
従来の方法では、参照画像とテスト画像のすべてのピクセルが完全に位置合わせされていることを前提としています。
このような Aligned-Reference IQA (AR-IQA) アプローチでは、2 つの画像間のさまざまな幾何学的変形に関する現実世界の多くの問題に対処できません。
Geometrically-Disparate-Reference IQA (GDR-IQA) 問題を攻撃するために多大な努力が払われてきましたが、この問題は、たとえば、画像の超解像度とリターゲティングのための専用設計によって、あるいは、
幾何学的歪みは小さくする必要があり、変換に強いフィルタまたは明示的な画像レジストレーションによって対抗できます。
ここでは、この問題を再考し、単一のフレームワークで上記の問題に対処するための、統合された非トレーニングベースの深層構造類似性 (DeepSSIM) アプローチを提案します。このアプローチは、単純だが効率的な方法で深部特徴の構造類似性を評価し、アテンションキャリブレーションを使用します。
注意力の逸脱を軽減するための戦略。
提案された方法は、アプリケーション固有の設計を行わずに、AR-IQA データセットで最先端のパフォーマンスを達成し、同時にさまざまな GDR-IQA テスト ケースに対する強力な堅牢性を示します。
興味深いことに、私たちのテストでは、画像の超解像度、強化、復元をトレーニングするための最適化ツールとして DeepSSIM が有効であることも示しており、さらに広範な一般化可能性が示唆されています。
\footnote{ソースコードはレビュー完了後に公開されます。

要約(オリジナル)

Image Quality Assessment (IQA) with references plays an important role in optimizing and evaluating computer vision tasks. Traditional methods assume that all pixels of the reference and test images are fully aligned. Such Aligned-Reference IQA (AR-IQA) approaches fail to address many real-world problems with various geometric deformations between the two images. Although significant effort has been made to attack Geometrically-Disparate-Reference IQA (GDR-IQA) problem, it has been addressed in a task-dependent fashion, for example, by dedicated designs for image super-resolution and retargeting, or by assuming the geometric distortions to be small that can be countered by translation-robust filters or by explicit image registrations. Here we rethink this problem and propose a unified, non-training-based Deep Structural Similarity (DeepSSIM) approach to address the above problems in a single framework, which assesses structural similarity of deep features in a simple but efficient way and uses an attention calibration strategy to alleviate attention deviation. The proposed method, without application-specific design, achieves state-of-the-art performance on AR-IQA datasets and meanwhile shows strong robustness to various GDR-IQA test cases. Interestingly, our test also shows the effectiveness of DeepSSIM as an optimization tool for training image super-resolution, enhancement and restoration, implying an even wider generalizability. \footnote{Source code will be made public after the review is completed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google