Exploring CLIP for Assessing the Look and Feel of Images

要約

視覚コンテンツの知覚を測定することは、コンピューター ビジョンにおける長年の問題です。
画像の外観や品質を評価するために、多くの数学的モデルが開発されてきました。
このようなツールは、ノイズやぼやけレベルなどの劣化を定量化する上で有効ですが、そのような定量化は人間の言語と緩やかに結びついています。
視覚コンテンツの感覚に関するより抽象的な認識に関して言えば、既存の方法は、面倒なユーザー調査によって収集されたラベル付きデータで明示的にトレーニングされた教師ありモデルにしか依存できません。
このホワイト ペーパーでは、従来のパラダイムを超えて、画像の品質知覚 (見た目) と抽象的な知覚 (感触) の両方をゼロで評価するための Contrastive Language-Image Pre-training (CLIP) モデルにカプセル化された豊富な視覚言語を探索します。
・ショットの仕方。
特に、効果的なプロンプト デザインについて説明し、事前確率を利用するための効果的なプロンプト ペアリング戦略を示します。
また、制御されたデータセットと画像品質評価 (IQA) ベンチマークに関する広範な実験も提供しています。
私たちの結果は、CLIP がさまざまな知覚的評価にうまく一般化する意味のある事前情報をキャプチャすることを示しています。
コードは https://github.com/IceClear/CLIP-IQA で入手できます。

要約(オリジナル)

Measuring the perception of visual content is a long-standing problem in computer vision. Many mathematical models have been developed to evaluate the look or quality of an image. Despite the effectiveness of such tools in quantifying degradations such as noise and blurriness levels, such quantification is loosely coupled with human language. When it comes to more abstract perception about the feel of visual content, existing methods can only rely on supervised models that are explicitly trained with labeled data collected via laborious user study. In this paper, we go beyond the conventional paradigms by exploring the rich visual language prior encapsulated in Contrastive Language-Image Pre-training (CLIP) models for assessing both the quality perception (look) and abstract perception (feel) of images in a zero-shot manner. In particular, we discuss effective prompt designs and show an effective prompt pairing strategy to harness the prior. We also provide extensive experiments on controlled datasets and Image Quality Assessment (IQA) benchmarks. Our results show that CLIP captures meaningful priors that generalize well to different perceptual assessments. Code is avaliable at https://github.com/IceClear/CLIP-IQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google