CSIM: A Copula-based similarity index sensitive to local changes for Image quality assessment

要約

画像類似度メトリクスは、画像処理、コンピュータビジョン、機械学習で使用されるため、コンピュータビジョンアプリケーションにおいて重要な役割を果たしている。さらに、これらのメトリクスは、画像検索、物体認識、品質評価などのタスクを可能にし、ヘルスケア、天文学、監視などの分野で不可欠である。PSNR、MSE、SSIM、ISSM、FSIMなどの既存のメトリクスは、速度、複雑さ、画像の小さな変化に対する感度のいずれかの点でしばしば限界に直面する。これらの課題に対処するため、本論文では、微妙な画像の変化に敏感でありながら、リアルタイム性を兼ね備えた新しい画像類似度メトリック、すなわちCSIMを研究する。この新しいメトリックは、確率論のガウスコピュラを用いて、画像を局所的な画像パッチに関連する画素分布のベクトルに変換する。これらのベクトルには、強度と画素位置に加えて、画素値間の依存関係に関する情報が含まれ、画像内の構造的関係を捉える。コピュラの特性を活用することで、CSIMは画素強度の結合分布を効果的にモデル化し、画像パッチのより微妙な比較を可能にすることで、他のメトリクスと比較して局所的な変化に敏感になります。実験結果は、ノイズ、圧縮アーチファクト、ぼかしを含む様々な画像歪みシナリオにおいて、CSIMが既存の類似性メトリクスを凌駕することを示している。微妙な差異を検出するこのメトリクスの能力は、小さな異常の検出が重要な意味を持ちうる医療用画像のような、高い精度を必要とするアプリケーションに適している。本研究で得られた結果は、Githubリポジトリhttps://github.com/safouaneelg/copulasimilarity。

要約(オリジナル)

Image similarity metrics play an important role in computer vision applications, as they are used in image processing, computer vision and machine learning. Furthermore, those metrics enable tasks such as image retrieval, object recognition and quality assessment, essential in fields like healthcare, astronomy and surveillance. Existing metrics, such as PSNR, MSE, SSIM, ISSM and FSIM, often face limitations in terms of either speed, complexity or sensitivity to small changes in images. To address these challenges, a novel image similarity metric, namely CSIM, that combines real-time while being sensitive to subtle image variations is investigated in this paper. The novel metric uses Gaussian Copula from probability theory to transform an image into vectors of pixel distribution associated to local image patches. These vectors contain, in addition to intensities and pixel positions, information on the dependencies between pixel values, capturing the structural relationships within the image. By leveraging the properties of Copulas, CSIM effectively models the joint distribution of pixel intensities, enabling a more nuanced comparison of image patches making it more sensitive to local changes compared to other metrics. Experimental results demonstrate that CSIM outperforms existing similarity metrics in various image distortion scenarios, including noise, compression artifacts and blur. The metric’s ability to detect subtle differences makes it suitable for applications requiring high precision, such as medical imaging, where the detection of minor anomalies can be of a high importance. The results obtained in this work can be reproduced from this Github repository: https://github.com/safouaneelg/copulasimilarity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL