OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression

要約

本論文では、序数回帰のための言語を駆使したパラダイムを提示する。既存の手法は通常、各ランクをカテゴリとして扱い、これらの概念を学習するために重みのセットを採用する。これらの方法は、学習された概念が主に学習セットから得られるため、オーバーフィットしやすく、通常、満足のいく性能を得ることができない。CLIPのような大規模な事前学習済み視覚言語モデルは、様々な視覚タスクにおいて素晴らしい性能を示している。本論文では、CLIPの潜在的な空間からランク概念を学習することを提案する。具体的には、このタスクを対比的目的を持つ画像-言語マッチング問題として再定式化し、ラベルをテキストとみなし、各ランクに対してテキストエンコーダーから言語プロトタイプを得る。CLIPのプロンプト工学は非常に時間がかかるが、我々はCLIPを順序回帰に適応させる微分可能なプロンプト法であるOrdinalCLIPを提案する。OrdinalCLIPは学習可能なコンテクストトークンと学習可能なランク埋め込みから構成される。学習可能なランク埋め込みは数値連続性を明示的にモデル化することにより構築され、CLIP空間において整然としたコンパクトな言語プロトタイプを得ることができる。一旦学習した後は、言語プロトタイプのみを保存し、巨大な言語モデルを破棄することができるため、線形ヘッドと比較して追加の計算オーバーヘッドがゼロとなる。実験により、我々のパラダイムは一般的な順序回帰タスクにおいて競争力のある性能を達成し、年齢推定のための少数ショットや分布シフトの設定において改善を得ることが示された。

要約(オリジナル)

This paper presents a language-powered paradigm for ordinal regression. Existing methods usually treat each rank as a category and employ a set of weights to learn these concepts. These methods are easy to overfit and usually attain unsatisfactory performance as the learned concepts are mainly derived from the training set. Recent large pre-trained vision-language models like CLIP have shown impressive performance on various visual tasks. In this paper, we propose to learn the rank concepts from the rich semantic CLIP latent space. Specifically, we reformulate this task as an image-language matching problem with a contrastive objective, which regards labels as text and obtains a language prototype from a text encoder for each rank. While prompt engineering for CLIP is extremely time-consuming, we propose OrdinalCLIP, a differentiable prompting method for adapting CLIP for ordinal regression. OrdinalCLIP consists of learnable context tokens and learnable rank embeddings; The learnable rank embeddings are constructed by explicitly modeling numerical continuity, resulting in well-ordered, compact language prototypes in the CLIP space. Once learned, we can only save the language prototypes and discard the huge language model, resulting in zero additional computational overhead compared with the linear head counterpart. Experimental results show that our paradigm achieves competitive performance in general ordinal regression tasks, and gains improvements in few-shot and distribution shift settings for age estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL