Quantifying and Enabling the Interpretability of CLIP-like Models

要約

CLIP は最も人気のある基本モデルの 1 つであり、多くの視覚言語タスクに頻繁に使用されます。
ただし、CLIP の内部動作についてはほとんど知られていません。
このギャップを埋めるために、CLIP のようなモデルの解釈可能性を定量化する研究を提案します。
この調査は、サイズ、事前トレーニング データの種類、パッチ サイズによって異なる OpenAI と OpenCLIP の 6 つの異なる CLIP モデルで実施されます。
私たちのアプローチは、TEXTSPAN アルゴリズムとコンテキスト内学習を使用して、個々の注意を特定のプロパティに分解することから始まります。
次に、ヘッド内のプロパティの一貫性とヘッド間のプロパティのもつれの解消を測定する新しい指標を使用して、これらのヘッドがどの程度簡単に解釈できるかを評価します。
私たちの調査結果は、一般に、より大きな CLIP モデルの方が、より小さな対応するモデルよりも解釈しやすいことを明らかにしています。
ユーザーが CLIP モデルの内部動作を理解するのをさらに支援するために、解釈可能性分析用に設計されたツールである CLIP-InterpreT を紹介します。
CLIP-InterpreT は、プロパティベースの最近傍検索、頭ごとのトピック セグメンテーション、コントラスト セグメンテーション、画像の頭ごとの最近傍、およびテキストの頭ごとの最近傍の 5 種類の分析を提供します。

要約(オリジナル)

CLIP is one of the most popular foundational models and is heavily used for many vision-language tasks. However, little is known about the inner workings of CLIP. To bridge this gap we propose a study to quantify the interpretability in CLIP like models. We conduct this study on six different CLIP models from OpenAI and OpenCLIP which vary by size, type of pre-training data and patch size. Our approach begins with using the TEXTSPAN algorithm and in-context learning to break down individual attention heads into specific properties. We then evaluate how easily these heads can be interpreted using new metrics which measure property consistency within heads and property disentanglement across heads. Our findings reveal that larger CLIP models are generally more interpretable than their smaller counterparts. To further assist users in understanding the inner workings of CLIP models, we introduce CLIP-InterpreT, a tool designed for interpretability analysis. CLIP-InterpreT offers five types of analyses: property-based nearest neighbor search, per-head topic segmentation, contrastive segmentation, per-head nearest neighbors of an image, and per-head nearest neighbors of text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google