LAR-IQA: A Lightweight, Accurate, and Robust No-Reference Image Quality Assessment Model

要約

深層学習技術を使用した非参照画像品質評価 (NR-IQA) 分野の最近の進歩により、複数のオープンソース データセットにわたって高いパフォーマンスが実証されました。
ただし、このようなモデルは通常、非常に大規模かつ複雑であるため、特にリソースやバッテリーに制約のあるモバイル デバイス上での実際の展開にはあまり適していません。
この制限に対処するために、ECCV AIM UHD-IQA チャレンジ検証およびテスト データセットで最先端 (SOTA) パフォーマンスを達成しながら、最速の SOTA よりもほぼ 5.7 倍高速な、コンパクトで軽量な NR-IQA モデルを提案します。
モデル。
私たちのモデルはデュアル ブランチ アーキテクチャを特徴としており、各ブランチが合成的および真に歪んだ画像で個別にトレーニングされるため、さまざまな歪みタイプにわたるモデルの汎用性が向上します。
現実世界の多様な視覚条件下での堅牢性を向上させるために、トレーニング プロセス中に複数の色空間をさらに組み込みます。
また、従来の多層パーセプトロン (MLP) と比較して、最近提案されたコルモゴロフ-アーノルド ネットワーク (KAN) の最終品質回帰の精度が高いことも示します。
さまざまなオープンソース データセットを考慮した評価により、提案した軽量モデルの実用的で高精度、堅牢なパフォーマンスが強調されます。
コード: https://github.com/nasimjamshidi/LAR-IQA。

要約(オリジナル)

Recent advancements in the field of No-Reference Image Quality Assessment (NR-IQA) using deep learning techniques demonstrate high performance across multiple open-source datasets. However, such models are typically very large and complex making them not so suitable for real-world deployment, especially on resource- and battery-constrained mobile devices. To address this limitation, we propose a compact, lightweight NR-IQA model that achieves state-of-the-art (SOTA) performance on ECCV AIM UHD-IQA challenge validation and test datasets while being also nearly 5.7 times faster than the fastest SOTA model. Our model features a dual-branch architecture, with each branch separately trained on synthetically and authentically distorted images which enhances the model’s generalizability across different distortion types. To improve robustness under diverse real-world visual conditions, we additionally incorporate multiple color spaces during the training process. We also demonstrate the higher accuracy of recently proposed Kolmogorov-Arnold Networks (KANs) for final quality regression as compared to the conventional Multi-Layer Perceptrons (MLPs). Our evaluation considering various open-source datasets highlights the practical, high-accuracy, and robust performance of our proposed lightweight model. Code: https://github.com/nasimjamshidi/LAR-IQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google